ඊළඟට කියවන්න

• හැඳින්වීම (Section 4.1)

සමාජ පර්යේෂණයන්හි ඇතිවන හේතු පිළිබඳව ප්රශ්න බොහෝ විට සංකීර්ණ හා සංකීර්ණ වේ. Imbens and Rubin (2015) ප්රස්ථාර මත පාදක කරගත් මූලික ප්රවිෂ්ටය සඳහා Pearl (2009) බලන්න, විභව ප්රතිඵලය පදනම් කරගත් පදනම් ක්රමයක් සඳහා Imbens and Rubin (2015) . මෙම ප්රවේශයන් දෙක අතර සංසන්දනය සඳහා, Morgan and Winship (2014) . නිර්මල නිර්වචනයක් නිර්ණය කිරීමේ විධිමත් ප්රවේශයක් සඳහා, VanderWeele and Shpitser (2013) බලන්න.

මෙම පරිච්ඡේදයේදී, අත්හදා බැලීම් සහ අත්හදාබැලීමේ දත්තවලින් සෑදීමේ තක්සේරුවක් කිරීමට අප සතු හැකියාව අතර දීප්තිමත් රේඛාවක් මෙන් පෙනෙන්නට තිබුණි. කෙසේ වෙතත්, මම සිතන්නේ, ඇත්ත වශයෙන්ම, මෙම වෙනස වඩාත් අඳුරු ය. නිදසුනක් වශයෙන්, ජනයා දුම් පානය කරන ජනයාට බලහත්කාරයෙන් කරන ලද randomized controlled experiment කිසිවක් කර නොමැති වුවද දුම් පානය පිළිකාවක් ඇති බව සියලුදෙනා පිළිගන්නවා. විශිෂ්ට පොතක් තරම් දිග සඳහා-පර්යේෂණාත්මක නොවන දත්ත පොදු ඇස්තමේන්තු කිරීම මත ප්රතිකාර බලන්න Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , සහ Dunning (2012) .

Freedman, Pisani, and Purves (2007) පරිච්ඡේද 1 සහ 2 පරිච්ඡේදවල Freedman, Pisani, and Purves (2007) මඟින් පර්යේෂණ, පරීක්ෂණාත්මක පරීක්ෂණ සහ සසම්භාවී ලෙස පාලනය කරන ලද පර්යේෂණ අතර ඇති වෙනස්කම් පිළිබඳව පැහැදිලි හැඳින්වීමක් සපයයි.

Manzi (2012) මගින් අහඹු ලෙස පාලනය කරන ලද පරීක්ෂණ වල දාර්ශනික සහ සංඛ්යානමය කරුණු වලට ආකර්ෂණීය හා කියවිය හැකි හැඳින්වීමක් සපයයි. ව්යාපාරයේ දී අත්හදා බැලීමේ බලය පිළිබඳව රසවත් සැබෑ ලෝක නිදර්ශන සපයයි. Issenberg (2012) දේශපාලන ප්රචාරක කටයුතු සඳහා අත්හදා බැලීම් යොදාගැනීමේ කදිම හඳුන්වාදීමක් සපයයි.

• පරීක්ෂණ මොනවාද? (4.2 වගන්තිය)

Box, Hunter, and Hunter (2005) , @ Casella_statistical_2008, සහ Athey and Imbens (2016b) , අත්හදා බැලීම් සහ විශ්ලේෂණයේ සංඛ්යානමය කරුණු පිළිබඳ හොඳ හැඳින්වීමක් සපයයි. තවද විවිධ ක්ෂේත්රවල අත්හදාබැලීම් සඳහා විශිෂ්ට ක්රමවේදයන් තිබේ: ආර්ථික විද්යාව (Bardsley et al. 2009) , සමාජ විද්යාව (Willer and Walker 2007; Jackson and Cox 2013) , මනෝවිද්යාව (Aronson et al. 1989) , දේශපාලන විද්යාව (Morton and Williams 2010) සහ සමාජ ප්රතිපත්තිය (Glennerster and Takavarasha 2013) .

සහභාගී වන අයගේ වැදගත්කම (උදා., නියැදීම්) බොහෝ විට පර්යේෂණාත්මක පර්යේෂණ වලදී අඩු අගයක් ගනී. කෙසේවෙතත්, ප්රතිකාරයේ ප්රතිඵල ජනගහනයේ විෂමජාතීය නම්, නියැදීම් ඉතා වැදගත් වේ. Longford (1999) පැහැදිලි කර ඇත්තේ නියැදි නියැදීමෙන් සමීක්ෂණ ජනගහනයක් ලෙස පර්යේෂණ ගැන සිතන පර්යේෂකයින් වෙනුවෙන් පෙනී සිටින විටය.

• පරීක්ෂණවල පරාමිතීන් දෙකක්: lab-field සහ analog-digital (Section 4.3)

විද්යාගාර සහ ක්ෂේත්ර පර්යේෂණ අතර සමතුළනයක් ඇති බව යෝජනා කර ඇති අතර, තවත් පර්යේෂකයන්ට වඩාත් විස්තරාත්මක වර්ගීකරණයක් ඉදිරිපත් කර ඇති අතර, විශේෂයෙන් ක්ෂේත්ර ක්ෂේත්රයේ විවිධ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) ඇත.

ග්රන්ථ ගණනාවක්ම සමස්ථ (Falk and Heckman 2009; Cialdini 2009) අත්හදා බැලීම්වල (Falk and Heckman 2009; Cialdini 2009) සමඟ සංසන්දනය කර ඇත (Falk and Heckman 2009; Cialdini 2009) සහ දේශපාලන විද්යාවෙහි විශේෂිත අත්හදා බැලීම්වල ප්රතිඵල අනුව (Coppock and Green 2015) , ආර්ථික විද්යාව (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) සහ මනෝවිද්යාව (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) විද්යාත්මක පර්යේෂණවලින් සමීක්ෂණ ලබා Jerit, Barabas, and Clifford (2013) . Parigi, Santana, and Cook (2017) විස්තර කරන්නේ අන්තර්ජාලය ඔස්සේ ක්ෂේත්ර පරීක්ෂණ මගින් විද්යාගාර සහ ක්ෂේත්ර පර්යේෂණවල ගති ලක්ෂණ එක් කරගත හැකි ආකාරයයි.

ඔවුන්ගේ හැසිරීම් වෙනස්වන ආකාරය පිළිබඳව ඔවුන් සැලකිලිමත් වන බව ඇතැම් අය දන්නවා. ඔවුන් ඇතැම් විට ඉල්ලීම් බලපෑම් ලෙස හැඳින්වේ. ඔවුන් මනෝවිද්යාව (Orne 1962) සහ ආර්ථික විද්යාව (Zizzo 2010) යනුවෙන් අධ්යයනය කර ඇත. බොහෝ විට විද්යාත්මක පරීක්ෂණ වලට සම්බන්ධ වුවද, එම ගැටළු මෙන්ම ක්ෂේත්ර පරීක්ෂණ සඳහාද ගැටළු ඇති විය හැක. ඇත්ත වශයෙන්ම, ඉල්ලුම් බලපෑම් සමහර අවස්ථාවලදී හෞතෝරීන් ප්රතිවිපාක ලෙසද හඳුන්වයි. එය 1924 දී බස්නාහිර විදුලි සමාගමේ (Adair 1984; Levitt and List 2011) Hawthorne Works) (Adair 1984; Levitt and List 2011) නමින් ප්රසිද්ධ ආලෝක කිරණ අත්හදා බැලීම් සිදු කරන ලද පදයකි. ඉල්ලුම බලපෑම් බෙයර්ස් බලපෑම් දෙකම සමීපව 2 පරිච්ඡේදයේ සාකච්ඡා ප්රතික්රියක මිනුම් අදහස සම්බන්ධ නොමැත (ද බලන්න Webb et al. (1966) ).

ක්ෂේත්රයේ අත්හදා බැලීම් ආර්ථික විද්යාවේ දිගු ඉතිහාසයක් (Levitt and List 2009) , දේශපාලන විද්යාව (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , මනෝවිද්යාව (Shadish 2002) සහ රාජ්ය ප්රතිපත්තිය (Shadish and Cook 2009) . ක්ෂේත්රයේ අත්හදාබැලීම් සිදු වූ සමාජ විද්යාවේ එක් ක්ෂේත්රයක් ජාත්යන්තර සංවර්ධනයකි. ආර්ථික විද්යාව තුළ එම කාර්යයන් පිළිබඳ ධනාත්මක සමාලෝචනයක් සඳහා Banerjee and Duflo (2009) බලන්න. විවේචනාත්මක ඇගයුමක් සඳහා Deaton (2010) . දේශපාලන විද්යාවෙහි මෙම කෘතිය සමාලෝචනය සඳහා Humphreys and Weinstein (2009) . අවසාන වශයෙන්, දේශපාලන විද්යාව (Humphreys 2015; Desposato 2016b) හා සංවර්ධන ආර්ථික විද්යාව (Baele 2013) ක්ෂේත්ර පර්යේෂණ වලින් පැන නගින ආචාරධාර්මික අභියෝග පිළිබඳව විමසා (Humphreys 2015; Desposato 2016b) ඇත.

මෙම අංශය තුළ, ඇස්තමේන්තුගත ප්රතිකාර ප්රතිඵලය නිරවද්යතාව වැඩි කිරීම සඳහා පූර්ව පතිකාර ෙතොරතුරු භාවිතා කළ හැකි වුවත්, ෙමම ප්රවේශය පිළිබඳ විවාදයන් කිහිපයක් පවතී; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) සහ Bloniarz et al. (2016) වැඩි විස්තර සඳහා.

අවසාන වශයෙන්, රසායනාගාර ක්ෂේත්රයේ මැන බැලීමකින් තොරව සමාජ විද්යාඥයන් විසින් සිදු කරන ලද අනෙකුත් පර්යේෂණ වර්ග දෙකක් පවතී. සමීක්ෂණ පර්යේෂණ සහ සමාජ අත්හදා බැලීම්. සමීක්ෂණ පරීක්ෂණ යනු දැනට පවත්නා සමීක්ෂණවල යටිතල ව්යුහයන් භාවිතා කරමින් සහ එම ප්රශ්න වලට විකල්ප පිළිතුරු සඳහා සංසන්දනය කිරීම (අත්හදා බැලීම් 3 ක් යටතේ ඉදිරිපත් කර ඇත); මිනුම් පිළිබඳ පර්යේෂණ සඳහා වැඩි ප්රමාණයක් සඳහා Mutz (2011) . සමාජ අත්හදා බැලීම් යනු රජය විසින් පමණක් ක්රියාත්මක කළ හැකි සමාජ ප්රතිපත්තියකි. සමාජ පරීක්ෂණයන් වැඩසටහන් ඇගයීම සඳහා සමීපව සම්බන්ධ වේ. ප්රතිපත්ති පර්යේෂණවලින් වැඩි ගණනක් සඳහා Heckman and Smith (1995) , Orr (1998) සහ @ glennerster_running_2013 බලන්න.

• සරල පරීක්ෂණ වලින් ඔබ්බට ගමන් කිරීම (4.4 වගන්තිය)

මම සංකල්ප තුනක් පිළිබඳව අවධානය යොමු කිරීමට තීරණය කර ඇත: වලංගු භාවය, ප්රතිකාර විෂමතාවයේ විවිධත්වය හා යාන්ත්රණය. මෙම සංකල්ප විවිධ ක්ෂේත්රවල විවිධ නම් ඇත. නිදසුනක් වශයෙන්, මනෝවිද්යාඥයන් මැදිහත්කරුවන් හා උපාය මාර්ගිකයන් මත අවධානය යොමු කිරීමෙන් සරල අත්හදා බැලීම් වලින් ඔබ්බට ගමන් කිරීමට පෙළඹේ. (Baron and Kenny 1986) . මා මැදිහත්කරුවන්ගේ අදහස අල්ලා ගන්නා ලද යාන්ත්රණයන් විසින් අල්ලා ගන්නා ලද අතර, මා විසින් බාහිර වලංගු භාවය ලෙස හඳුන්වන මායම්කරුවන්ගේ අදහස ග්රහණය කර ඇත (උදාහරණ ලෙස, විවිධ තත්වයන් යටතේ ධාවනය කළහොත් පර්යේෂණයේ ප්රතිඵල වෙනස් විය හැකි) සහ ප්රතිකාර ප්රතිරෝධකත්වය ( නිදසුනක් වශයෙන්, සමහරුන්ට වඩා සමහරුන්ට විශාල බලපෑමක් ඇත).

Schultz et al. (2007) පෙන්නුම් කරන්නේ ඵලදායී මැදිහත්වීම් නිර්මාණය කිරීමට සමාජ න්යායන් භාවිතා කළ හැකි ආකාරයයි. ඵලදායී මැදිහත්වීම් සැලසුම් කිරීමේදී න්යායේ භූමිකාව පිළිබඳ වඩාත් පොදු තර්කයක් සඳහා, Walton (2014) .

• වලංගුභාවය (4.4.1 වගන්තිය)

Campbell (1957) විසින් පළමු වරට අභ්යන්තර හා බාහිර වලංගුභාවය පිළිබඳ සංකල්ප හඳුන්වා දෙනු ලැබීය. වඩාත් සවිස්තරාත්මක ඉතිහාසයක් සඳහා Shadish, Cook, and Campbell (2001) බලන්න. සංඛ්යාත්මක නිගමන වලංගු භාවය, අභ්යන්තර වලංගු භාවය, වලංගුභාවය හා බාහිර වලංගු භාවය පිළිබඳ සැලකිලිමත් වීම.

අත්හදා බැලීම් වල Imbens and Rubin (2015) පිළිබඳ සංඛ්යා ලේඛන පිළිබඳ සමාලෝචනය සඳහා Gerber and Green (2012) (සමාජීය විද්යාත්මක පර්යාලෝකයෙන්) සහ Imbens and Rubin (2015) (සංඛ්යානමය Imbens and Rubin (2015) දර්ශනයකින්) බලන්න. සංඛ්යානමය නිගමනය වලංගුභාවය පිළිබඳ නිශ්චිතභාවය පිළිබඳ නිශ්චිත කරුණු පිළිබඳ නිශ්චිතව කරුණු ඉදිරිපත් කරන අතර, යැපුම් දත්ත සමග විශ්වාසනීය අනුරූප සෑදීම සඳහා පරිගණකමය කාර්යක්ෂම ක්රම වැනි ගැටළු ඇතුළත් වේ. (Bakshy and Eckles 2013) .

සංකීර්ණ ක්ෂේත්ර පරීක්ෂණ වලදී අභ්යන්තර වලංගු භාවය සහතික කිරීම අපහසු විය හැකිය. නිදසුනක් ලෙස, Gerber and Green (2000) , Imai (2005) , සහ Gerber and Green (2005) ඡන්දය පිළිබඳ සංකීර්ණ ක්ෂේත්ර පරීක්ෂණයක් ක්රියාත්මක කිරීම පිළිබඳ විවාදයකට. Kohavi et al. (2012) සහ Kohavi et al. (2013) අන්තර්ජාල ක්ෂේත්රයේ අත්හදා බැලීම් වල අන්තර්වාර වලංගුභාවය පිළිබඳ අභියෝගයන් හඳුන්වා දීම.

අභ්යන්තර වලංගු භාවයට එක් ප්රධාන තර්ජනයක් නම් අසාර්ථක අහඹු සිදුවීමක හැකියාවයි. සසම්භාවී තත්වය සමඟ ගැටළු හඳුනාගැනීම සඳහා නිරීක්ෂණය කළ හැකි ගති ලක්ෂණ සහ ප්රතිකාර කණ්ඩායම් සංසන්දනය කිරීම. මෙම ආකාරයේ සංසන්දනය යනු ශේෂ පත්රයක් ලෙසයි. Hansen and Bowers (2008) බලන්න. ශේෂය පරීක්ෂා කිරීම සඳහා චෙක්පත් Mutz and Pemantle (2015) සඳහා වන සංඛ්යානමය ප්රවේශයක් බලන්න. උදාහරණයක් ලෙස, Allcott (2011) භාවිතා කරමින්, Allcott (2011) සොයාගෙන ඇත්තේ ඔපෝබර් පරීක්ෂණ තුනක් තුල සසම්භාවී නොවන ක්රියාවලීන් නිවැරදිව ක්රියාත්මක නොවූ බවට සාධක සොයා ගැනීමට (2 වගුව බලන්න, ස්ථාන 2, 6 සහ 8 බලන්න). වෙනත් ප්රවේශයන් සඳහා, Imbens and Rubin (2015) 21 වන පරිච්ඡේදය බලන්න Imbens and Rubin (2015) .

අභ්යන්තර වලංගු භාවය සම්බන්ධ අනෙකුත් ප්රධාන උත්සහයන් වන්නේ: (1) එක් පාර්ශ්වීය නොවන පිළිපැදීමක්, ප්රතිකාර ප්රතිකාර කණ්ඩායමේ සිටින සෑම දෙනාටම ඇත්තටම ප්රතිකාර ලබා නොගත් අතර, (2) පතිකාරක ෙනොවන අනුකූලතාවන්, ප්රතිකාර පතිකාර කණ්ඩායමට අයත් සියලු දෙනා ප්රතිකාර ලබමින් සිටින අතර සමහර අය පාලක කන්ඩායමට ප්රතිකාර ලබා ගැනීම, (3) පාචනය, සමහර හ්භාගීවනවන් සඳහා ප්රතිඵල මනිනු නැති අතර, (4) මැදිහත්වීම, ප්රතිකාර ක්රමවලදී පුද්ගලයන් ප්රතිකාරය තුල සිටින පුද්ගලයින්ගෙන් ඉක්මවා පැතිරී යන තත්ත්වයක් ඇති වේ. මේ සෑම ප්රශ්නයකටම වැඩි විස්තර සඳහා Gerber and Green (2012) 5, 6, 7 සහ 8 පරිච්ඡේද බලන්න.

වලංගු භාවය පිළිබඳ වැඩි විස්තර සඳහා Westen and Rosenthal (2003) බලන්න. විශාල දත්ත මූලාශ්රවල දී වලංගු භාවය ගොඩනැගීම සඳහා Lazer (2015) සහ මෙම පොතේ දෙවන පරිච්ඡේදය බලන්න.

බාහිර වලංගුභාවය පිළිබඳ එක් අංගයක් වන්නේ මැදිහත්වීම පරීක්ෂණයට ලක් කරන ලද සැකසුමයි. Allcott (2015) වෙබ් අඩවි තෝරා ගැනීමේ පක්ෂග්රාහීව ප්රවේශමෙන් න්යායාත්මක හා ආනුභවික ප්රතිකාර ලබා දෙයි. මෙම ගැටළුව Deaton (2010) විසින් ද සාකච්ඡා කර ඇත. බාහිර වලංගුභාවයේ තවත් අංගයක් නම් එකම මැදිහත්වීමේ විකල්ප ක්රියාකාරීත්වය සමාන ප්රතිඵල ඇති වේ. මෙම අවස්ථාවේදී, Schultz et al. (2007) හා Allcott (2011) පෙන්නුම් කර ඇත්තේ, ඔපර්බර්ඩ් පරීක්ෂණවල දී Schultz සහ සගයන් විසින් මුල් අත්හදා බැලීම්වලට වඩා කුඩා ඇස්තමේන්තු කළ ප්රතිකාරය (1.7% vs. 5%) බවයි. Allcott (2011) උපකල්පනය කළේ, පසු විපරම් අත්හදා බැලීම්වලට වඩා කුඩා බලපෑමක් සිදු වූ බවය. ප්රතිකාර ක්රම වෙනස් වූ ආකාරය: විශ්ව විද්යාලයක් විසින් අනුග්රහය දක්වන ලද අධ්යයනයක කොටසක් ලෙස අතින් ලියන ලද චිත්තවේගයක් මහා පරිමාණ නිෂ්පාදනයක් ලෙස මුද්රිත චිත්තවේගයක් සමඟ සංසන්දනය කරන ලදී බලශක්ති සමාගමෙන් වාර්තාවක්

• ප්රතිකාර වල බලපෑම අසමානතාව (4.4.2 වගන්තිය)

ක්ෂේත්ර පර්යේෂණවල විෂබීජ ප්රතිඵල පිළිබඳ විශිෂ්ට දර්ශනයක් සඳහා, Gerber and Green (2012) 12 වන පරිච්ඡේදය බලන්න. වෛද්ය පරීක්ෂණයන්හි විෂමජාතීන්වල විචල්යතාවයන් සඳහා විසඳුම් ලබා දීම සඳහා, Kent and Hayward (2007) , Longford (1999) සහ Kravitz, Duan, and Braslow (2004) . ප්රතිකාර ප්රතිකාර විෂමජාතීත්වය පිළිබඳ සැලකිලිමත් වීම සාමාන්යයෙන් සැලකිය යුත්තේ පූර්ව ප්රතිකාර කළ ලක්ෂණ පදනම් කරගත් වෙනස්කම් මතය. පශ්චාත් ප්රතිකාර ප්රතිඵල පදනම් කර ගත් විෂමතාවයක් ගැන ඔබ උනන්දුවක් දක්වන්නේ නම්, ප්රධාන (Frangakis and Rubin 2002) වැනි (Frangakis and Rubin 2002) වඩාත්ම සංකීර්ණ ප්රවේශයන් වැනි වඩාත් සංකීර්න ප්රවේශයන් අවශ්ය වේ (Frangakis and Rubin 2002) ; Page et al. (2015) සමාලෝචනය සඳහා.

බොහෝ පර්යේෂකයන් රේඛීය පරාසයක් භාවිතයෙන් ප්රතිකාර කිරීමේ විෂමජාතීත්වය ඇස්තමේන්තු කර ඇත. එහෙත් නව ක්රමයන් යන්ත්ර ඉගෙනුම් මත රඳා පවතී; නිදසුනක් ලෙස Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) .

විවිධාකාර සන්සන්දනාත්මක ගැටළු සහ "මසුන් ඇල්ලීම" නිසා ඇතිවන විවිධත්වය පිළිබඳ සොයා බැලීම් පිලිබඳ යම් සැකයක් පවතියි. විවිධාකාර සැසඳීම් ගැන සැලකිලිමත් විය හැකි සංඛ්යාත්මක ප්රවේශයන් ගණනාවක් තිබේ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . මනෝවිද්යාව (Nosek and Lakens 2014) , දේශපාලන විද්යාව (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , සහ ආර්ථික විද්යාව (Olken 2015) .

මෙම අධ්යයනයේ දී Costa and Kahn (2013) විසින් අධ්යයනයෙහි දී Costa and Kahn (2013) විද්යාත්මක තොරතුරු වලට සම්බන්ධ වූ කුටුම්භයන්ගෙන් අඩක් පමණි. මෙම විස්තර ගැන උනන්දුවක් දක්වන පාඨකයන්ට මුල් ලිපියේ සඳහන් විය යුතුය.

• යාන්ත්රණය (4.4.3 වගන්තිය)

යාන්ත්රණයන් ඉතාම වැදගත් වේ, නමුත් ඔවුන් අධ්යයනය කිරීම ඉතා අසීරුයි. යාන්ත්රණ පිළිබඳ පර්යේෂණ පර්යේෂණ මනෝවිද්යාවේ මැදිහත්කරුවන්ගේ අධ්යයනයන්ට සමීපව බැඳී ඇත (නමුත් අදහස් දෙකක් අතර නිරවද්ය සැසඳීමක් සඳහා VanderWeele (2009) බලන්න. Baron and Kenny (1986) විසින් වර්ධනය කරන ලද ප්රවේශය වැනි යාන්ත්රණ සොයා ගැනීම සඳහා සංඛ්යානමය ප්රවේශයන් ඉතා සුලභ වේ. අවාසනාවකට මෙන්, මෙම ක්රියා පටිපාටීන් බොහෝ අවස්ථාවන්හි දී අපේක්ෂා කළ හැකිය (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) (Bullock, Green, and Ha 2010) සමහර ප්රබල උපකල්පන මත (Bullock, Green, and Ha 2010) රඳා පවතී. Imai et al. (2011) සහ Imai and Yamamoto (2013) විසින් යම් යම් ක්රමවේදයන් වැඩි දියුණු කර ඇත. තවදුරටත්, VanderWeele (2015) මඟින් සංවේදීතා විශ්ලේෂණයක් සඳහා පුළුල් ප්රවේශයක් ඇතුළුව, වැදගත් ප්රතිඵල රාශියක් සමඟ පොත් දිගු ප්රතිකාර ලබා දෙයි.

යාන්ත්රණය කෙලින්ම මෙහෙයවීමට උත්සාහ කරන අත්හදාබැලීම් සඳහා වෙනම ප්රවේශයක් අවධානය යොමු කරයි (නිදසුනක් වශයෙන්, නාවිකයින් විටමින් C ලබා දෙයි). අවාසනාවකට මෙන්, බොහෝ සමාජ විද්යාත්මක සැකසුම් වලදී, බොහෝ විට යාන්ත්රණයන් ඇති අතර අනෙකුත් අය වෙනස් නොකර වෙනස් කරන ප්රතිකාර ක්රම නිර්මාණය කිරීම අසීරු ය. Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) සහ Pirlott and MacKinnon (2016) විසින් අත්හදා බැලීම් කරන වෙනස්කම් වලට ප්රවේශයන් Pirlott and MacKinnon (2016) .

පූර්ණ සාධනීය අත්හදා බැලීම් සිදු කරන පර්යේෂකයින් බොහෝ කල්පිත පරීක්ෂණ සඳහා සැලකිලිමත් විය යුතුය. වැඩි විස්තර සඳහා Fink, McConnell, and Vollmer (2014) හා List, Shaikh, and Xu (2016) බලන්න.

අවසාන වශයෙන්, Hedström and Ylikoski (2010) විසින් විස්තර කරන ලද විද්යාවේ දර්ශනයේ දිගු ඉතිහාසයක් ඇති යාන්ත්රණ ද ඇත.

• පවතින පරිසරයන් භාවිතා කිරීම (Section 4.5.1)

වෙනස්කම් මැනීම සඳහා අනුරූපී අධ්යයන හා විගණන අධ්යයන භාවිතය පිළිබඳ වැඩි විස්තර සඳහා, Pager (2007) .

• ඔබේම අත්හදා බැලීම (4.5.2)

ඔබ ගොඩනඟන අත්හදා බැලීම් සඳහා සහභාගිවන්නන් සඳහා බඳවා ගැනීමේ වඩාත් පොදු ක්රමය නම් ඇමේසන් යාන්ත්රික ටුර්ක් (MTurk). සම්ප්රදායික විද්යාත්මක පරීක්ෂණවලදී MTurk විසින් සාම්ප්රදායික විද්යාත්මක පරීක්ෂණ අත්හදා බැලීම් සිදු කිරීම නිසා ඔවුන් නිදහස් කර නොගන්නා කාර්යයන් සම්පූර්ණ කිරීම සඳහා බොහෝ දෙනෙක් පර්යේෂකයන්ට දැනටමත් අත්හදා බැලීම් කර ඇත. (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

සාමාන්යයෙන් MTurk විසින් බඳවා ගන්නා ලද සහභාගීවන්නන් භාවිතා කිරීමේ විශාලතම වාසි වන්නේ ප්රසම්පාදන වේ. සති පරීක්ෂණ සඳහා සති කිහිපයක් ගතවීමටත්, ක්ෂේත්ර පරීක්ෂණවලට මාස ගණනාවක් ගතවීමටත් හැකි වනු ඇත. MTurk විසින් බඳවා ගන්නා හ්භාගීවන නන පිරිස් වලට දින ගණනාවක් ගත විය හැකිය. නිදසුනක් ලෙස, Berinsky, Huber, and Lenz (2012) එක් දිනක විෂයයන් 400 ක් බඳවා ගැනීමට හැකි විය. තවද, 3 වන සහ 5 වන පරිච්ඡේදවල දී සාකච්ඡාවට භාජනය වන පරිදි සමීක්ෂණයක් සහ මහජන සහයෝගිතාව ඇතුළුව ඕනෑම කාර්යයක් සඳහා මෙම සහභාගිවන්නන් බඳවා ගත හැකිය. මෙම බඳවා ගැනීමේ පහසුකම මගින් පර්යේෂකයන්ට ඉක්මන් අනුප්රාප්තිකයා විසින් අදාළ අත්හදා බැලීම්වල අනුපිළිවෙලවල් ධාවනය කළ හැකිය.

ඔබේම අත්හදා බැලීම් සඳහා MTurk වෙතින් සහභාගිවන්නන්ට පෙර, ඔබ දැනගත යුතු වැදගත් කරුණු හතරකි. පළමුව, බොහෝ පර්යේෂකයන්ට තුර්කිය සම්බන්ධ පර්යේෂණවල විශේෂඥ සංශයවාදයක් ඇත. මෙම සංශයත්වය නිශ්චිත නොවන බැවින්, එය සාක්ෂි සමග සන්සන්දනය කිරීම අසීරු ය. කෙසේ වෙතත්, තුර්කිය භාවිතා කළ අධ්යයන වර්ෂ ගණනාවකට පසුව, මෙම සංශයවාදය විශේෂයෙන් යුක්ති සහගත නොවූ බව දැන් නිගමනය කරමු. සෙසු ජනගහණ වල ජනවාර්ගිකයන් හා තුර්කිය ජනගහනය සමඟ සසඳන විට බොහෝ අධ්යයන සිදු කර ඇත. වෙනත් ජනගහණයන්ගෙන් වූ අය සමග අත්හදා බැලීම්වල ප්රතිඵල සමඟ සැසඳීමේ දී බොහෝ අධ්යයනයන් පවතී. මෙම කාර්යය සැලකිල්ලට ගෙන ඔබට සිතා ගත හැකි හොඳම ක්රමය වන්නේ සිසු සිසුවියන් සාධාරණ පහසුවකි. සිසුන්ට වඩා තරමක් දුරට විවිධාකාර වූ (Berinsky, Huber, and Lenz 2012) සාධාරණ පහසුවකි. මේ අනුව, සිසුන්ට සාධාරණ ජනගහනයක් සිටින නිසා, සියල්ලටම වඩා, පර්යේෂණයන්, ටෙක්ටර්වරු සමහරු, නමුත් සියල්ලටම වඩා පර්යේෂණ සඳහා සාධාරණ ජනගහනයකි. ඔබ තුර්කිය සමග වැඩ කිරීමට යන්නේ නම්, මෙම සංසන්දනාත්මක අධ්යයනයන් බොහොමයක් කියවා ඒවායේ සියුම් අවබෝධය කියවීමට එය තේරෙයි.

දෙවනුව පර්යේෂකයන් MTurk අත්හදා බැලීම් වල අභ්යන්තර වලංගු භාවය ඉහළ නැංවීම සඳහා හොඳ පුරුදු දියුණු කර ඇති අතර, ඔබ මෙම හොදම භාවිතයන් ගැන (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) ඉගෙන ගන්න. නිදසුනක් වශයෙන්, ටර්බෙර්න් භාවිතා කරන පර්යේෂකයන්ට අනාරක්ෂිත ලෙස සහභාගී වන්නන් (Berinsky, Margolis, and Sances 2014, 2016) ඉවත් කිරීමට තිරසර භාවිතා කරන්නන් දිරිමත් කරනු ලැබේ (නමුත් DJ Hauser and Schwarz (2015b) සහ DJ Hauser and Schwarz (2015a) ) බලන්න. ඔබ නොසැලකිලිමත් හ්භාගීවනනවන් ඉවත් නොකළහොත්, ප්රතිකාරයේ කිසිදු බලපෑමක් ඔවුන් විසින් හඳුන්වා දෙන ශබ්දය මගින් සෝදාගත හැකි අතර, අහිතකර ලෙස සහභාගී වූවන්ගේ සංඛ්යාව සැලකිය යුතු ය. හියුබර් සහ සගයන් විසින් කරන ලද අත්හදා බැලීම්වල දී (2012) , සහභාගීවන්නන්ගෙන් 30% ක් පමණ මූලික අවධානය යොමු කරන්නන් අසමත් විය. තුර්කිය භාවිතා කරන විට සාමාන්යයෙන් පැන නගින අනෙකුත් ගැටලු වන්නේ නූගත් අයයි (Chandler et al. 2015) සහ පෝෂණය (Zhou and Fishbach 2016) .

තෙවනුව, වෙනත් ආකාරයේ ඩිජිටල් අත්හදා බැලීම් වලට සාපේක්ෂව MTurk පරීක්ෂණ ප්රමාණවත් නොවේ. Stewart et al. (2015) ඇස්තමේන්තු අනුව ඕනෑම වේලාවක මෙට්රොක්හි 7,000 ක් පමණකි.

අවසාන වශයෙන්, MTurk යනු තමන්ගේම රීති සහ සම්මතයන් සහිත ප්රජාව (Mason and Suri 2012) බව ඔබ දැනගත යුතුය. ඔබ ඔබගේ අත්හදා බැලීම් සිදු කිරීමට යන්නේ රටක සංස්කෘතිය ගැන සොයා බැලීමට උත්සාහ කළ ආකාරයටම, තුර්කියේ සංස්කෘතිය සහ සම්මතයන් පිළිබඳ වැඩි විස්තර සොයා ගැනීමට උත්සාහ කළ යුතුය (Salehi et al. 2015) . ඔබ නුසුදුසු හෝ සදාචාරාත්මක නොවන (Gray et al. 2016) නම්, ඔබගේ අත්හදා බැලීම ගැන තුර්කිය කතා කරනු ඇතැයි ඔබ දැනගත යුතුය.

MTurk යනු ඔබගේ අත්හදා බැලීම් සඳහා Huber, Hill, and Lenz (2012) වැනි රසායනික ද්රව්යයන් වැනි අයගේ අත්හදාබැලීම් සඳහා බඳවා ගැනීමට ඉතාම පහසු ක්රමයකි. Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) සහ Mao et al. (2016) .

• ඔබේම නිෂ්පාදනයක් ගොඩනඟන්න (Section 4.5.3)

ඔබේම නිෂ්පාදනයක් නිර්මාණය කිරීමට ඔබ සිතන්නේ නම්, Harper and Konstan (2015) හි MovieLens සමූහය විසින් ඉදිරිපත් කරන ලද උපදෙස් කියවීමට මම නිර්දේශ කරමි. සෑම සාර්ථක ව්යාපෘතියකටම බොහෝ අසමර්ථකම් රැසක් ඇති බව ඔවුන්ගේ අත්දැකීම්වලින් මූලික අවබෝධයක් ලබා ගැනීමයි. උදාහරණයක් වශයෙන්, MovieLens සමූහය විසින් GopherAnswers වැනි වෙනත් නිෂ්පාදන එළිදැක්වූ අතර ඒවා සම්පූර්ණයෙන්ම අසාර්ථක වූ (Harper and Konstan 2015) . නිෂ්පාදනයක් ගොඩනැඟීමේ උත්සාහයක යෙදී සිටින පර්යේෂකයකුගේ තවත් උදාහරණයක් වන්නේ එඩ්වඩ් කැස්ත්රොනෝවා (Arden) නම් අන්තර්ජාල ක්රීඩාවක් නිර්මාණය කිරීමටයි. 250,000 ක මුදලක් වැය වුවද, ව්යාපෘතිය වනාහි (Baker 2008) . GopherAnswers සහ Arden වැනි ව්යාපෘති අවාසනාවකට MovieLens වැනි ව්යාපෘති වලට වඩා බොහෝ සුලභ වේ.

• බලසම්පන්න සහකාරිය (Section 4.5.4)

පාස්චර්ගේ ක්වැන්ඩ්රන්ට් පිළිබඳව නිතරම තාක්ෂණික සමාගම්වලදී නිතරම සාකච්ඡා කළෙමි. එය ගූගල් හි පර්යේෂන ප්රයත්න සංවිධානය කිරීමට උපකාර කරයි (Spector, Norvig, and Petrov 2012) .

බොන්ඞ් සහ සගයන්ගේ අධ්යයනය (2012) ද එම අයගේ යහළුවන්ගේ මිතුරන් වෙත මෙම ප්රතිකාර වල බලපෑම හඳුනා ගැනීමට උත්සාහ කරයි. මෙම පර්යේෂණය සැලසුම් කිරීම නිසා, මෙම භාජනය පිරිසිදු ලෙස හඳුනා ගැනීමට අසීරු ය; උනන්දුවක් දක්වන පාඨකයන්ට Bond et al. (2012) වඩාත් ගැඹුරු සාකච්ඡාවක් සඳහා. ජෝන්ස් සහ සගයන් (2017) යන මහත්වරුන්ද 2012 වසරේදී ඉතාම සමාන අත්හදා බැලීමක් කළා. ඡන්දය දිරිගැන්වීම සඳහා ග්රහණය කිරීම (Green and Gerber 2015) සඳහා දරන ප්රයත්නයන්හි දී දේශපාලන විද්යාව පිළිබඳ අත්හදා බැලීම්වල දිගු සම්ප්රදායේ කොටසක් ලෙස මෙම අත්හදා බැලීම් සිදු වේ. මෙම පාචු-චරපුරුෂ අත්හදා බැලීම් පිළිබඳ අත්හදා බැලීම් බහුලව දක්නට ලැබේ. මේවා පාස්චර්ගේ ක්වැන්ඩන්ට් හි ඇත. එනම්, ඡන්දය ප්රකාශ කිරීම සහ ඡන්දය වැඩි කිරීම සඳහා අභිප්රේරිත පිරිසක් සිටින අතර, චර්යාත්මක වෙනසක් හා සමාජ බලපෑම පිළිබඳ තවත් පොදු න්යායන් පරීක්ෂා කිරීමට සිත්ගන්නාසුලු හැසිරීමක් විය හැකිය.

දේශපාලන පක්ෂ, රාජ්ය නොවන සංවිධාන සහ ව්යාපාර වැනි හවුල් ව්යාපාර සංවිධාන සමඟ ක්ෂේත්ර පරීක්ෂණ පැවැත්වීම පිළිබඳ උපදෙස් සඳහා Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) සහ Gueron (2002) . පර්යේෂණයන් සැලසුම් කිරීමට බලපෑම් කළ හැකි සංවිධාන සමඟ සහයෝගිතාව පිළිබඳ කල්පනා කිරීම සඳහා King et al. (2007) සහ Green, Calfano, and Aronow (2014) . Humphreys (2015) සහ Nickerson and Hyde (2016) විසින් සාකච්ඡාවට ලක් කර ඇති පරිදි Humphreys (2015) ගැටළු වලට හවුල් වීම ද හැකිය.

• සැලසුම් උපදෙස් (4.6 වගන්තිය)

ඔබ ඔබේ අත්හදා බැලීම ක්රියාත්මක කිරීමට පෙර විශ්ලේෂණ සැලැස්මක් සාදා ගන්නේ නම්, ඔබ විසින් වාර්තා කරන මාර්ගෝපදේශ කියවීමෙන් ඔබ යෝජනා කරමි. ඖෂධවල සංසන්දනය කරන ලද CONSORT (ඒකාබද්ධ විමර්ශන වාර්තාකරණ වාර්තා) මාර්ගෝපදේශය (Schulz et al. 2010) සහ සමාජ පර්යේෂණ සඳහා වෙනස් කරන ලදි (Mayo-Wilson et al. 2013) . පර්යේෂණාත්මක ජර්නල් සඟරාවේ සංස්කාරකවරුන් (Gerber et al. 2014) සංස්කාරක විසින් සකස් කරන ලද මාර්ගෝපදේශ මාලාවක් Mutz and Pemantle (2015) සහ Gerber et al. (2015) ) බලන්න. අවසාන වශයෙන්, මනෝවිද්යාව තුළ වාර්තා කිරීමේ මාර්ගෝපදේශ සකස් කර ඇත (APA Working Group 2008) සහ Simmons, Nelson, and Simonsohn (2011) .

ඔබ විශ්ලේෂණ සැලැස්මක් සාදා ඇත්නම්, පෙර ලියාපදිංචිය පෙර ලියාපදිංචිවීම සලකා බැලීම සඳහා සලකා බැලිය යුතුය, අන් අය ඔබේ ප්රතිඵලවල විශ්වාසනීයත්වය වැඩි කරයි. තවද, ඔබ හවුල්කරු සමඟ වැඩ කරන්නේ නම්, ප්රතිඵල දැකීමෙන් පසු විශ්ලේෂණය වෙනස් කිරීමට ඔබේ හවුල්කරුගේ හැකියාව සීමා කරනු ඇත. පූර්ව ලියාපදිංචිය මනෝවිද්යාව (Nosek and Lakens 2014) , දේශපාලන විද්යාව (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) සහ ආර්ථික විද්යාව (Olken 2015) වඩ වඩාත් ප්රචලිත වෙමින් පවතී.

සබැඳි ක්ෂේත්ර අත්හදා බැලීම් සඳහා විශේෂයෙන් නිර්මාණාත්මක Konstan and Chen (2007) හා Chen and Konstan (2015) ලැබේ.

මම ආක්රමනික උපායමාර්ගය ලෙස හඳුන්වනු ලබන්නේ ක්රමික පර්යේෂණ ලෙසය . Wilson, Aronson, and Carlsmith (2010) .

• ශුන්ය විචල්යතා පිරිවැය දත්ත නිර්මාණය කරන්න (Section 4.6.1)

MusicLab අත්හදා බැලීම් සඳහා වැඩි විස්තර සඳහා Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) සහ Salganik (2007) . ජයග්රාහකයා සියළුම වෙලඳපොලවල් සඳහා වැඩි විස්තර සඳහා Frank and Cook (1996) . සාමාන්යයෙන් වාසනාවන්තයින් හා කුසලතාවන් පිළිබඳ වැඩි විස්තර සඳහා වැඩි විස්තර සඳහා Mauboussin (2012) , Watts (2012) සහ Frank (2016) .

පර්යේෂකයින් අවදියෙන් සිටිය යුතු අතර සහභාගීත්ව ගෙවීම් ඉවත් කිරීම සඳහා තවත් ප්රවේශයක් තිබේ. බොහෝ සබැඳි ක්ෂේත්ර අත්හදා බැලීම් වලදී හ්භාගීවනනුවන් මූලික වශයෙන් අත්හදා බැලීම් කර ඇති අතර ඒවා කිසි විටෙකත් වන්දි ලබා නැත. මෙම ප්රවිෂ්ටයේ උදාහරණ ඇතුළත් වනුයේ, විකිපීඩියා සහ බොන්ඞ් සහ සගයාගේ (2012) අත්හදා බැලීම් පිළිබඳ ජනතාවගේ දිරි ගැන්වීම සම්බන්ධයෙන් Restivo සහ van de Rijt's (2012) අත්හදා බැලීම් පිළිබඳ අත්හදා බැලීම් ඇතුළත් වේ. මෙම අත්හදා බැලීම් සැබැවින්ම ශුන්ය විචල්යය පිරිවැයක් නොව, ඔවුන් පර්යේෂකයන්ට ශුන්ය විචල්ය පිරිවැයක් දරයි . එවැනි අත්හදා බැලීම්වල දී, එක් එක් සහභාගියාට පිරිවැය අතිශයින් කුඩා වුව ද සමස්ථ පිරිවැය තරමක් විශාල විය හැකිය. විශාල අන්තර්ජාල මාර්ග අත්හදා බැලීම් සිදු කරන පර්යේෂකයන් බොහෝ දෙනෙකුට කුඩා අයුරින් යොදාගන්නා විට මෙම කුඩා ආචරණයන් වැදගත් වන බව කුඩා ඇස්තෙම්න්තුගත ප්රතිකාර ආචරණවල වැදගත්කම සාධාරණීකරණය කරයි. සමපේක්ෂකයින් සහභාගී වන පිරිවැය මත පිරිවැය සමානම චින්තනය අදාළ වේ. එක් අත්හදා බැලීමකට විනාඩි 1 ක පමණ ජනතාවක් නාස්ති කිරීමට උත්සාහ කළහොත්, එක්තරා පුද්ගලයෙකුට අත්හදා බැලීම් ඉතාම හානිකර නොවන නමුත් සමස්තයක් වශයෙන් වසර දෙකකට ආසන්න කාලයක් නාස්ති වී ඇත.

සහභාගිවන්නන්ට ශුන්ය විචල්ය පිරිවැය පියවීමක් නිර්මාණය කිරීමේ තවත් ප්රවේශයක් වනුයේ ලොතරැයි, සමීක්ෂණ පර්යේෂණවලදී භාවිතා කරන ලද ප්රවේශයක් (Halpern et al. 2011) . ප්රීතිමත් පරිශීලක අත්දැකීම් නිර්මාණය කිරීම ගැන වැඩි විස්තර සඳහා, Toomim et al. (2011) . ශුන්ය විචල්යතා පිරිවැය නිපදවීම සඳහා Bots භාවිතා කිරීම ගැන වැඩි විස්තර සඳහා ( ??? ) බලන්න.

• ප්රතිස්ථාපනය, වැඩිදියුණු කිරීම සහ අඩු කිරීම (4.6.2 වගන්තිය)

Russell and Burch (1959) විසින් මුලින්ම යෝජනා කරන ලද R වර්ග තුන පහත පරිදි වේ:

"ආදේශන insentient ද්රව්ය දැනුවත් ජීවත් උසස් සතුන් සඳහා ආදේශ කිරීමයි. අඩු දෙන මුදල හා නිරවද්යතාව පිළිබඳ තොරතුරු ලබා ගැනීම සඳහා යොදා සතුන් සංඛ්යා අඩු බවයි. ශෝධනයක් අමානුෂික ක්රියා පටිපාටි පිලිබඳ සිද්ධීන් හෝ අලාභයේ ඕනෑම අඩුවීමක් තවමත් භාවිතා කිරීමට ඇති එම සතුන් අදාළ වේ. "

මම යෝජනා කර ඇති රීති 3 වන පරිච්ඡේදයේ විස්තර කර ඇති ආචාර ධාර්මික මූලධර්ම ඉක්මවා නොයමි. ඒ වෙනුවට, ඒවායේ මූලධර්මවලින් එකක් වන වඩාත් ඵලදායී අනුවාදයක් - මානව විශේෂ අත්හදා බැලීම් සැකසීම තුලින් ප්රතිලාභයකි.

පළමු R ("ආදේශන") අනුව, චිත්තවේගාත්මක වසංගත පරීක්ෂාව (Kramer, Guillory, and Hancock 2014) හා මානසික වසංගත ස්වාභාවික අත්හදා බැලීම් (Lorenzo Coviello et al. 2014) සංසන්දනය කර ඇති වෙළඳාම පරීක්ෂණ වලින් ස්වාභාවික අත්හදා බැලීම් වලට ගමන් කිරීම (අනවශ්ය පරික්ෂාකාරී දත්තවල අත්හදා බැලීම් කිරීමට ආසන්නයේ ඇති අනෙකුත් ප්රවේශයන්, පරිච්ඡේද 2 බලන්න). ආචාරධර්මීය වාසිවලට අමතරව, පර්යේෂණාත්මක නොවන පර්යේෂණාත්මක අධ්යයන සිට මාරු කිරීම මගින් ඒවාට ප්රවාහනය කිරීමට නොහැකිවන පරිදි ප්රතිකාර ක්රම අධ්යයනය කිරීමට පර්යේෂකයන්ට හැකියාව ලැබේ. කෙසේ වෙතත් මෙම ආචාර ධාර්මික සහ සැපයුම් ප්රතිලාභ පිරිවැය සඳහා වැයවේ. ස්වාභාවික අත්හදා බැලීම්වලින් පර්යේෂකයන්ට සහභාගී වූවන් බඳවා ගැනීම, අහඹු සිදුවීම් සහ ප්රතිකාරයේ ස්වභාවය වැනි දේවල් කෙරෙහි අඩු පාලනයක් ඇත. නිදසුනක් වශයෙන්, වර්ෂාපතනයේ එක් සීමාවකට ප්රතිකාර කිරීමක් ලෙස එය දෙයාකාරයක වැඩි වීම හා සෘණතාව අඩු වේ. කෙසේවෙතත්, පරීක්ෂණාත්මක අධ්යයනයේ දී Kramer සහ සගයන්ට ස්වාධීනව උපකාරී විය හැකි හා නිෂේධනාත්මකව වෙනස් කිරීමට හැකි විය. Lorenzo Coviello et al. (2014) විසින් වැඩිදුර විස්තර කරන ලද්දේ L. Coviello, Fowler, and Franceschetti (2014) විසිනි. Lorenzo Coviello et al. (2014) විසින් භාවිතා කරන ලද ප්රවේශය වන ආයතනික විචල්යයන් හැඳින්වීම සඳහා Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (වඩා විධිමත්) හෝ Angrist, Imbens, and Rubin (1996) (වඩාත් විධිමත්) බලන්න. සාධක විචල්යයන් පිලිබඳ සංශයවාදී ඇගයීම සඳහා, Deaton (2010) , දුර්වල උපකරණ සහිත ආයුධ විචල්යයන් සඳහා හැඳින්වීමක් (වැසි දුර්වල උපකරණය), Murray (2006) . වඩාත් පොදුවේ, ස්වාභාවික පර්යේෂණ කිරීමට හොඳ හඳුන්වා දෙනු ලබන්නේ, Dunning (2012) , අතර Rosenbaum (2002) , ( ??? ) , සහ Shadish, Cook, and Campbell (2001) පර්යේෂණ තොරව පොදු බලපෑම් තක්සේරු කිරීම ගැන හොඳ අදහස් ඉදිරිපත්.

දෙවන R ("refinement") අනුව, පෝස්ට් පොස්පේට් කිරීම සඳහා පෝස්ටර් අවහිර කිරීම මගින් Emotional Contagion හි සැලසුම් වෙනස් කිරීම සලකා බැලීමේ දී විද්යාත්මක හා සැපයුම් වෙළඳාමේ පවතී. නිදසුනක් වශයෙන්, පුවත් සංග්රහයේ තාක්ෂණික ක්රියාත්මක කිරීම නිසා එය වැඩි දියුණු කරන ලද එක් එක් පෝස්කට වඩා වැඩි පෝලිම් අවහිර කරනු ලබන අත්හදා බැලීම් සිදු කිරීමට අත්හදා බැලීම පහසු වනු ඇත (සටහන් කිරීම් අවහිර කිරීමේ ක්රියාවලියක් ක්රියාත්මක කළ හැකි බව සටහන් කර ගත හැකි ය පාදක පද්ධතියේ වෙනස්කම් නොමැතිව ප්රවෘත්ති සංග්රහයේ ඉහළ තට්ටුවක් ලෙස). කෙසේ වෙතත්, විද්යාත්මකව, අත්හදා බැලීම් කරන ලද සිද්ධාන්තය අනෙක් පැත්තෙන් එක සැළැස්මක් යෝජනා නොකෙරේ. අවාසනාවකට මෙන්, ප්රවෘත්ති සංග්රහයේ අන්තර්ගතයන් අවහිර කිරීම හා වැඩිදියුණු කිරීමේ සාපේක්ෂ සුදුසුකම් පිළිබඳව සැලකිය යුතු පූර්ව පර්යේෂණ පිළිබඳව මම නොදනිමි. එසේම, පිරිපහදු කිරීම වළක්වා ගැනීම සඳහා ඔවුන්ගෙන් බොහෝමයක් හානිකර යමක් සිදු කිරීමට මම පර්යේෂණ නොකළෙමි; එක් ව්යතිරේකය යනු B. Jones and Feamster (2015) , අන්තර්ජාල වාරණය මැනීමේ සිද්ධිය සැලකිල්ලට ගන්නා අතර (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) Encore අධ්යයනයට සම්බන්ධ 6 වන පරිච්ඡේදයේ දී සාකච්ඡා කරනු ලබන මාතෘකාවක් (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

තෙවන R ("අඩු කිරීම") අනුව සාම්ප්රදායික බලශක්ති විශ්ලේෂණයට හොඳ හැඳින්වීමක් Cohen (1988) (පොත) සහ Cohen (1992) (ලිපියේ) සපයන අතර Gelman and Carlin (2014) විසින් තරමක් වෙනස් ආකාරයකට ඉදිරිපත් කරනු ලබයි. පූර්ව පතිකර්ම සමීක්ෂනයන් පරීක්ෂණෙය් සැලසුම් සහ විශ්ෙල්ෂණ අවධියේ ඇතුළත් කළ හැකිය; 4 වන පරිච්ඡේදය Gerber and Green (2012) ප්රවේශයන් දෙකටම හොඳ හැඳින්වීමක්, සහ Casella (2008) වඩා ගැඹුරු ප්රතිකාර සපයයි. සසම්භාවි ලෙස මෙම පූර්ව පතිකාර ෙතොරතුරු භාවිතා කරනු ලබන ශිල්පීය ක්රම සාමාන්යෙයන් අවහිර කරන ලද අත්හදා බැලීම් කරන ලද අත්හදා බැලීම් ෙහෝ වින්යාසගත කරන ලද පරීක්ෂණාත්මක සැලසුම් (ෙල්ඛන නිරන්තරෙයන් ජනවාර්ගික කණ්ඩායම් භාවිතා ෙනොෙව්); මෙම උපක්රමය 3 වන පරිච්ෙඡ්දය තුළ සාකච්ඡා කරන ලද Higgins, Sävje, and Sekhon (2016) සමඟ සමීපව සම්බන්ධ වී ඇත Higgins, Sävje, and Sekhon (2016) මෙම මෝස්තර භාවිතා කිරීම පිළිබඳ වැඩි විස්තර සඳහා Higgins, Sävje, and Sekhon (2016) බලන්න. විශ්ලේෂණය කිරීමේ අවධියේදී පූර්ව පතිකාරක සමීක්ෂණ ද ඇතුළත් කළ හැකිය. McKenzie (2012) වැඩි විස්තර සඳහා ක්ෂේත්ර පරීක්ෂණ විශ්ලේෂණය කිරීමේ වෙනස-වෙනස්කම් ප්රවේශය ගවේෂණය කරයි. ප්රතිකාර සඳහා බලපෑම් තක්සේරු කිරීමේ නිරවද්යතාව ඉහළ නැංවීම සඳහා විවිධ ප්රවේශයන් අතර වෙළඳාම වැඩි කිරීම සඳහා Carneiro, Lee, and Wilhelm (2016) බලන්න. අවසාන වශයෙන්, සැලසුම් කිරීම හෝ විශ්ලේෂණ අවධියේදී පූර්ව පතිකාරක තත්වයන් ඇතුළත් කිරීමට උත්සාහ කළ යුතුද යන්න තීරණය කිරීම සඳහා (හෝ දෙකම) සලකා බැලිය යුතු කරුණු කිහිපයක් තිබේ. පර්යේෂකයන්ට ඔවුන් "මසුන් ඇල්ලීම" නොකරන බව පෙන්නුම් කළ යුතු ස්ථානයක් (Humphreys, Sierra, and Windt 2013) , සැලසුම් අවධියේදී පූර්ව පතිකාරක වට්ටම් භාවිතා කළ හැකිය (Higgins, Sävje, and Sekhon 2016) . සහභාගී වන අවස්ථාවලදී අනුක්රමිකව පැමිණෙන අවස්ථාවලදී, විශේෂයෙන්ම අන්තර්ජාල ක්ෂේත්රයේ අත්හදා බැලීම්, සැලසුම් කිරීමේ අදියරේදී පූර්ව පතිකාර ෙතොරතුරු භාවිතා කිරීම logistically difficult; නිදසුනක් ලෙස, Xie and Aurisset (2016) .

වෙනස්කම්-දී-වෙනස්කම් ප්රවේශය වෙනසකට වඩා වැඩියෙන් ඵලදායී විය හැක්කේ ඇයිද යන්න ගැන ටිකක් කාවැද්දීම වටී. බොහෝ සබැඳි ප්රතිපල ඉතා ඉහළ විචලතාවයක් ඇත (උදාහරණ බලන්න, RA Lewis and Rao (2015) සහ Lamb et al. (2015) ) සහ සාපේක්ෂව ස්ථාවර වේ. මෙම අවස්ථාවෙහිදී, වෙනස් කිරීමේ අගය සැලකිය යුතු ලෙස අඩු විචලනයක් වනු ඇත, සංඛ්යාන පරීක්ෂණයෙහි බලය වැඩි කිරීම. මෙම ප්රවේශය බොහෝ විට භාවිතා නොකරන එක් හේතුවක් වන්නේ ඩිජිටල් යුගයට පෙර, පූර්ව ප්රථිඵල ලබා ගැනීම පොදු නොවේ. මේ පිළිබඳව සිතීමට වඩාත් සංකීර්ණ ක්රමයක් වන්නේ ව්යායාම නිශ්චිත ව්යායාම මගින් බර අඩු කර ගැනීමක් සිදු කිරීම සඳහා පරීක්ෂණයක් සිතින් මවා ගැනීමයි. ඔබ විවිධාකාරයේ ප්රවේශයක් අනුගමනය කරන්නේ නම්, ඔබේ ඇස්තමේන්තු ජනගහනවල බරෙහි වෙනස්කම් අනුව විචලනය වී ඇත. කෙසේ වෙතත්, ඔබ වෙනස්කම්-වෙනස්කම් ප්රවේශයක් කරන්නේ නම්, බර ඇති ස්වාභාවිකව ඇති වෙනස්කම් ඉවත් කරනු ලැබේ, සහ ප්රතිකාර මගින් ඇතිවන වෙනස පහසුවෙන් හඳුනා ගත හැකිය.

අවසාන වශයෙන්, මම සිව්වන රීතිය එකතු කිරීමක් ලෙස සලකමි. එනම් පර්යේෂකයන් ඔවුන්ගේ මුල් පර්යේෂණාත්මක ප්රශ්නය විසඳීමට අවශ්ය වඩා වැඩි පර්යේෂණාත්මක දත්ත ලබා ගන්නේ නම්, ඒවා නව ප්රශ්න අසන්න සඳහා දත්ත නැවත ලබා ගත යුතුය. උදාහරණයක් ලෙස, Kramer සහ සගයන් විසින් වෙනස-වෙනස්කම් තක්සේරුකරුවෙකු භාවිතා කර ඇති අතර, ඔවුන්ගේ පර්යේෂණ ප්රශ්නය විසඳීමට අවශ්ය වඩා වැඩි දත්ත සොයාගෙන ඇත. උපරිම ආකාරයෙන් දත්ත භාවිතා නොකිරීම වෙනුවට, පූර්ව-සැලකීම චිත්තවේගාත්මක ප්රකාශනයෙහි ක්රියාකාරිත්වයේ ප්රමාණය ලෙස අධ්යයනය කළ හැකිය. Schultz et al. (2007) සොයා ගත් පරිදි සැහැල්ලු හා විශාල පරිශීලකයින් සඳහා ප්රතිකාරය වෙනස් විය. සමහර විට දැනටමත් සතුටුදායක (හෝ කනගාටුදාක) පණිවුඩ පළ කිරීම සඳහා වූ පුවත් පෝෂණයට වෙනස් විය. නැවත ලබා ගැනීම මගින් "මසුන් ඇල්ලීම" (Humphreys, Sierra, and Windt 2013) සහ "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , නමුත් ඒවා අවංක වාර්තාකරණයෙහි සංයෝජන සමග විශාල වශයෙන් (Simmons, Nelson, and Simonsohn 2011) ලැබේ (Simmons, Nelson, and Simonsohn 2011) , පෙර ලියාපදිංචිය (Humphreys, Sierra, and Windt 2013) මඟහරවා ගැනීමට උත්සාහ කරන යාන්ත්රික ඉගෙනුම් ක්රම.