మరింత వ్యాఖ్యానం

ఈ విభాగం ఒక కధనం చదవబడుతుంది కాకుండా, ఒక సూచన వలె ఉపయోగించవచ్చు రూపొందించబడింది.

• పరిచయం (విభాగము 4.1)

సామాజిక పరిశోధనలో ఎటువంటి కారణాలు గురించి ప్రశ్నలు తరచుగా సంక్లిష్టమైన మరియు జటిలమైన ఉన్నాయి. కారణ గ్రాఫ్లు ఆధారంగా అనుకోకుండా ఒక పునాది విధానం కోసం, చూడండి Pearl (2009) , మరియు సంభావ్య ఫలితాలను ఆధారంగా పునాది విధానం కోసం, చూడండి Imbens and Rubin (2015) (మరియు ఈ అధ్యాయం లో సాంకేతిక అనుబంధంలో). ఈ రెండు విధానాలు మధ్య ఒక పోలిక కోసం, చూడండి Morgan and Winship (2014) . ఒక confounder నిర్వచించు ఒక లాంఛనప్రాయ విధానాన్ని కోసం, చూడండి VanderWeele and Shpitser (2013) .

అధ్యాయం లో, నేను ప్రయోగాత్మక మరియు కాని ప్రయోగాన్ని డేటా నుండి కారణ అంచనాలు చేయడానికి మా సామర్థ్యం మధ్య ఒక ప్రకాశవంతమైన లైన్ వంటి కనిపించాయి ఏమి సృష్టించింది. వాస్తవంలో, నేను విలక్షణత blurrier అని అనుకుంటున్నాను. ఉదాహరణకు, ప్రతి ఒక్కరూ ధూమపానం మేము ప్రజలు పొగ చేస్తుంది ఒక యాదృచ్చిక నియంత్రిత ప్రయోగంలో ఎప్పుడూ అయినప్పటికీ కాన్సర్ కలిగిస్తుంది అంగీకరిస్తుంది. కాని ప్రయోగాత్మక డేటా నుండి కారణ అంచనాలు తయారు చేయడానికి అద్భుతమైన పుస్తకం పొడవు చికిత్సలు కొరకు చూడండి Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , మరియు Dunning (2012) .

అధ్యాయాలు 1 మరియు 2 Freedman, Pisani, and Purves (2007) ప్రయోగాలు నియంత్రించబడిన ప్రయోగాలు మధ్య తేడాలు స్పష్టమైన పరిచయం అందిస్తున్నాయి, మరియు నియంత్రించబడిన ప్రయోగాలు స్వైర.

Manzi (2012) స్వైర నియంత్రిత ప్రయోగాలను యొక్క తాత్విక మరియు గణాంక తోడ్పాటును ఒక మనోహరమైన మరియు రీడబుల్ పరిచయం చేస్తుంది. ఇది కూడా ఆసక్తికరమైన వాస్తవ ప్రపంచంలో ఉదాహరణలు వ్యాపారంలో ప్రయోగం అధికార అందిస్తుంది.

• ప్రయోగాలు ఏమిటి? (విభాగం 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) ప్రయోగాత్మక రూపకల్పన మరియు విశ్లేషణ యొక్క గణాంక అంశాలు మంచి పరిచయాలు అందిస్తాయి. ఆర్థికశాస్త్రం: మరింత, అనేక రంగాల్లో ప్రయోగాలు వాడుకలో అద్భుతమైన చికిత్సలు ఉన్నాయి (Bardsley et al. 2009) , సోషియాలజీ (Willer and Walker 2007; Jackson and Cox 2013) , మనస్తత్వ (Aronson et al. 1989) , రాజనీతిశాస్త్రం (Morton and Williams 2010) , మరియు సామాజిక విధానం (Glennerster and Takavarasha 2013) .

పాల్గొనే నియామక (ఉదా, నమూనా సేకరణ) యొక్క ప్రాముఖ్యతను ప్రయోగాత్మక పరిశోధనలో కింద-ప్రశంసలు తరచుగా ఉంది. అయితే, చికిత్స యొక్క ప్రభావాన్ని జనాభాలో విజాతీయ ఉంటే, అప్పుడు శాంప్లింగ్ కీలకం. Longford (1999) అతను అస్తవ్యస్తంగా మాదిరి తో ఒక జనాభా సర్వేలో ప్రయోగాలు ఆలోచిస్తూ పరిశోధకులు పాటించి ఉన్నప్పుడు స్పష్టంగా ఈ పాయింట్ చేస్తుంది.

• ప్రయోగాల రెండు పరిమాణాలు: ప్రయోగశాల రంగంలో మరియు అనలాగ్-డిజిటల్ (విభాగం 4.3)

నేను ప్రయోగశాల మరియు రంగంలో ప్రయోగాలు మధ్య సమర్పించారు వైరుధ్యాన్ని ఒక బిట్ సరళీకృతం. నిజానికి, ఇతర పరిశోధకులు ఈ రంగంలో ప్రయోగాలు వివిధ రూపాల్లో వేరుచేసే ప్రత్యేక వాటికి మరింత వివరణాత్మక వర్గీకరణలను ప్రతిపాదించారు (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . సర్వే ప్రయోగాలు మరియు సామాజిక ప్రయోగాలే ఉన్న సర్వేలు అవస్థాపనను ఉపయోగించి ప్రయోగాలు సర్వే ప్రయోగాలు మరియు ప్రత్యామ్నాయ వెర్షన్లను ప్రతిస్పందనలు సరిపోల్చండి: మరింత, అక్కడ ప్రయోగశాల మరియు ఫీల్డ్ వైరుధ్యాన్ని లోకి విలక్షణముగా సరిపోని సామాజిక శాస్త్రవేత్తల ప్రయోగాలు రెండు ఇతర రకాలు. అదే ప్రశ్నలు (కొన్ని సర్వే ప్రయోగాలు చాప్టర్ 3 ప్రదర్శించారు); సర్వే ప్రయోగాలపై మరింత చూడండి Mutz (2011) . సామాజిక ప్రయోగాలు చికిత్స మాత్రమే ఒక ప్రభుత్వం అమలు చేసే కొన్ని సామాజిక విధానం ఉన్న ప్రయోగాలే. సామాజిక ప్రయోగాలు దగ్గరగా పరిశోధనలో ప్రోగ్రామ్ సంబంధించిన. విధానం ప్రయోగాలపై మరింత కోసం, చూడండి Orr (1998) , Glennerster and Takavarasha (2013) , మరియు Heckman and Smith (1995) .

పత్రాలు సంఖ్య సంగ్రహంలో ప్రయోగశాల మరియు రంగంలో ప్రయోగాలు పోలుస్తున్నారు (Falk and Heckman 2009; Cialdini 2009) మరియు రాజకీయ విజ్ఞాన నిర్దిష్ట ప్రయోగాల ఫలితాల పరంగా (Coppock and Green 2015) , ఎకనామిక్స్ (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) మరియు మనస్తత్వ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ప్రయోగశాల మరియు రంగంలో ప్రయోగాల నుండి ఫలితాలను పోల్చడానికి ఒక nice పరిశోధన రూపకల్పన అందిస్తుంది.

వారు ఆచరించారు చేస్తున్నారు కొన్నిసార్లు డిమాండ్ ప్రభావాలు అని తెలుసు, మరియు మానసిక శాస్త్రం అధ్యయనం చేయబడ్డాయి ఎందుకంటే వారి ప్రవర్తనను మార్చివేసిన పాల్గొనేవారి గురించి జాగ్రత్తలు (Orne 1962) మరియు అర్థశాస్త్రం (Zizzo 2009) . ఎక్కువగా ల్యాబ్ పరిశోధనలు సంబంధం ఉన్నప్పటికీ, ఈ అదే సమస్యలు అలాగే రంగంలో పరిశోధనలకు సమస్యలు కారణమవుతుంది. నిజానికి, డిమాండ్ ఎఫెక్ట్స్ కూడా కొన్నిసార్లు హౌథ్రోన్ ప్రభావాలు ఒక రంగంలో ప్రయోగం నుండి ఉత్పత్తి చేసే ఒక పదం, వెస్టరన్ ఎలక్ట్రిక్ సంస్థ యొక్క హౌథ్రోన్ వర్క్స్ వద్ద 1924 లో ప్రారంభమైంది ప్రత్యేకంగా ప్రసిద్ధ ప్రకాశం ప్రయోగాలు పిలుస్తారు, (Adair 1984; Levitt and List 2011) . రెండు డిమాండ్ ప్రభావాలు హౌథ్రోన్ ప్రభావాలు దగ్గరగా చాప్టర్ 2 లో చర్చించారు రియాక్టివ్ కొలత ఆలోచన సంబంధం కలిగి ఉంటాయి (ఇది కూడా చూడండి Webb et al. (1966) ).

ఫీల్డ్ ప్రయోగాల చరిత్రలో ఆర్థికశాస్త్రం అభివర్ణించారు (Levitt and List 2009) , రాజనీతిశాస్త్రం (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , మనస్తత్వ (Shadish 2002) మరియు ప్రజా విధానం (Shadish and Cook 2009) . ఫీల్డ్ ప్రయోగాలు త్వరగా ప్రముఖమైనదిగా మారింది సామాజిక శాస్త్రం యొక్క ఒక ప్రాంతంలో అంతర్జాతీయ అభివృద్ధి. అర్థశాస్త్రం పరిధిలో ఆ పని సానుకూల సమీక్ష కొరకు చూడండి Banerjee and Duflo (2009) , విమర్శనాత్మక అంచనా కోసం చూడండి Deaton (2010) . రాజనీతి శాస్త్రంలో ఈ కృతి యొక్క సమీక్ష కొరకు చూడండి Humphreys and Weinstein (2009) . చివరిగా, ఫీల్డ్ ప్రయోగాలు పాల్గొంది నైతిక సవాళ్లను రాజనీతి శాస్త్రంలో అన్వేషించారు చేశారు (Humphreys 2015; Desposato 2016b) మరియు అభివృద్ధి ఎకనామిక్స్ (Baele 2013) .

అధ్యాయం లో, నేను ముందుగానే శుద్ధి సమాచారాన్ని అంచనా చికిత్సా ఫలితాలని యొక్క ఖచ్చిత మెరుగుపరచడానికి ఉపయోగించవచ్చు సూచించారు, కానీ ఈ విధానం గురించి కొంత చర్చ జరుగుతుంది: Freedman (2008) , Lin (2013) , మరియు Berk et al. (2013) ; చూడండి Bloniarz et al. (2016) మరింత సమాచారం కోసం.

• సాధారణ ప్రయోగాలు దాటి మూవింగ్ (విభాగం 4.4)

ప్రామాణికత, చికిత్సా ఫలితాలని భిన్నత్వం, మరియు యాంత్రిక: నేను మూడు అంశాలపై దృష్టి ఎంచుకున్నారు. ఈ భావనలు వివిధ రంగాల్లో వివిధ పేర్లు ఉన్నాయి. ఉదాహరణకు, మనస్తత్వవేత్తలు మధ్యవర్తులను మరియు మోడరేటర్లపై సారించడం ద్వారా సాధారణ ప్రయోగాలు దాటి తరలించడానికి ఇవి (Baron and Kenny 1986) . మధ్యవర్తుల ఆలోచన నేను విధానాల కాల్ ఏమి బంధించి, మరియు మోడరేటర్లు ఆలోచన నేను బాహ్య క్రమబద్ధతను (ఉదా, అది వివిధ పరిస్థితులలో అమలు చేసిన ప్రయోగ ఫలితాలు తేడాగా) మరియు చికిత్స ప్రభావాలు భిన్నత్వం (కాల్ ఏమి బంధిస్తాడు ఉంది ఉదా, ఇతర ప్రజలు కంటే కొంతమంది) పెద్ద ప్రభావాలు ఉంటాయి.

ప్రయోగం Schultz et al. (2007) సమర్థవంతమైన జోక్యం రూపొందించడానికి ఉపయోగించవచ్చు ఎలా సాంఘిక సిద్దాంతాలు చూపిస్తుంది. సమర్థవంతమైన జోక్యం రూపకల్పన సిద్ధాంతం యొక్క పాత్ర గురించి మరింత సాధారణ వాదన కోసం, చూడండి Walton (2014) .

• చెల్లుబాటు (విభాగం 4.4.1)

అంతర్గత మరియు బాహ్య చెల్లే భావనలు మొదటి లో ప్రవేశపెట్టబడ్డాయి Campbell (1957) . చూడండి Shadish, Cook, and Campbell (2001) , చరిత్ర గురించి మరింత వివరంగా మరియు గణాంక నిర్ధారణకు ప్రామాణికత, అంతర్గత చెల్లే నిశిత వివరించాలని చెల్లుబాటును, మరియు బాహ్య చెల్లుబాటును నిర్మిస్తారు.

ప్రయోగాల్లో గణాంక నిర్ధారణకు చెల్లుబాటును సంబంధించిన సమస్యల అవలోకనం కొరకు చూడుము Gerber and Green (2012) (ఒక సామాజిక విజ్ఞాన కోణం) మరియు Imbens and Rubin (2015) (ఒక గణాంక కోణం). ఆన్లైన్ రంగంలో ప్రయోగాలు ప్రత్యేకంగా ఉత్పన్నమయ్యే గణాంక నిర్ధారణకు చెల్లే కొన్ని సమస్యలు వంటి ఆధారపడి సమాచారంతో విశ్వసనీయాంతరాలు సృష్టించడానికి కంప్యుటేషన్ పరంగా సమర్ధమైన పద్ధతులు సమస్యలు (Bakshy and Eckles 2013) .

అంతర్గత చెల్లుబాటును సంక్లిష్ట రంగంలో ప్రయోగాలు నిర్ధారించడానికి కష్టం. ఉదాహరణకు, చూడండి Gerber and Green (2000) , Imai (2005) , మరియు Gerber and Green (2005) ఓటింగ్ గురించి ఒక క్లిష్టమైన రంగంలో ప్రయోగంలో అమలు గురించి చర్చకు. Kohavi et al. (2012) మరియు Kohavi et al. (2013) ఆన్లైన్ రంగంలో ప్రయోగాలు అంతరం చెల్లే సవాళ్లు ఒక పరిచయం అందించడానికి.

అంతర్గత చెల్లుబాటును తో ఒక ప్రధాన సమస్యగా నియమరహితం తో సమస్యలు ఉంది. సమర్థవంతంగా నియమరహితం సమస్యలు గుర్తించడం ఒక మార్గం పరిశీలించదగిన విశిష్ట చికిత్స మరియు నియంత్రించిన సమూహాల పోల్చడం. ఈ రకమైన సామీప్యత సమతౌల్యం చెక్ అంటారు. చూడండి Hansen and Bowers (2008) తనిఖీలు బ్యాలెన్స్ మరియు చూడటానికి ఒక గణాంక విధానం కోసం Mutz and Pemantle (2015) సంతులనం తనిఖీలు గురించి ఆందోళనలు. ఉదాహరణకు, ఒక సంతులనం ఉపయోగించి తనిఖీ Allcott (2011) నియమరహితం OPower ప్రయోగాలు కొన్ని ప్రయోగాలు మూడు సరిగ్గా అమలు లేదని కొన్ని ఆధారాలు ఉన్నాయి అని కనుగొన్నారు (టేబుల్ 2 చూడండి; మరియు సైట్లు 2, 6, 8). ఇతర విధానాలు, చూడండి Imbens and Rubin (2015) , చాప్టర్ 21.

అంతర్గత చెల్లుబాటును సంబంధించిన ఇతర ప్రధాన ఆందోళనలు: 1) ఒక వైపు అక్కడ చికిత్స సమూహంలో అందరూ నిజానికి చికిత్స పొందింది తీసే, 2), అక్కడ చికిత్స సమూహంలో అందరూ చికిత్స మరియు కొన్ని అందుకుంటుంది తీసే వైపు నియంత్రణ గ్రూపు మంది చికిత్స పై నియంత్రణ స్థితిలో ప్రజలకు చికిత్స పరిస్థితి వ్యక్తుల నుండి చిందే ఎక్కడ చికిత్స, 3) ఘర్షణ, ఫలితాలను కొన్ని పాల్గొనే లెక్కించడం లేనిచోట, మరియు 4) జోక్యం, అందుకుంటారు. చూడండి Gerber and Green (2012) అధ్యాయం 5, 6, 7, మరియు ఈ సమస్యలు ప్రతి మరింత కోసం 8.

నిర్మాణం చెల్లుబాటును మరింత కోసం, చూడండి Westen and Rosenthal (2003) , మరియు పెద్ద డేటా ఆధారాలలో నిర్మాణం ప్రామాణికత, మరింత కోసం Lazer (2015) మరియు ఈ పుస్తకం యొక్క చాప్టర్ 2.

బాహ్య చెల్లే ఒక విషయం ఒక జోక్యం పరీక్షిస్తారు పేరు అమరిక. Allcott (2015) స్థల ఎంపిక పక్షపాతం ఒక జాగ్రత్తగా సైద్ధాంతిక మరియు అనుభావిక చికిత్స అందిస్తుంది. ఈ సమస్యను కూడా చర్చించబడుతుంది Deaton (2010) . చాలా సైట్లలో ప్రతిరూపం పాటు, హోం ఎనర్జి రిపోర్ట్ జోక్యం కూడా స్వతంత్రంగా బహుళ పరిశోధనా సమూహాలు అధ్యయనం చేశారు (ఉదా, Ayres, Raseman, and Shih (2013) ).

• చికిత్స ప్రభావాలు భిన్నత్వం (విభాగం 4.4.2)

ఫీల్డ్ ప్రయోగాల్లో చికిత్సా ఫలితాలని భిన్నత్వం యొక్క ఒక అద్భుతమైన పర్యావలోకనం కొరకు, అధ్యాయము 12 చూడండి Gerber and Green (2012) . మెడికల్ ట్రయల్స్ లో చికిత్స ప్రభావాలు నానావిధమైన పరిచయాలు కోసం, చూడండి Kent and Hayward (2007) , Longford (1999) , మరియు Kravitz, Duan, and Braslow (2004) . చికిత్స ప్రభావాలు భిన్నత్వం సాధారణంగా ముందుగానే శుద్ధి లక్షణాలు ఆధారంగా తేడాలు దృష్టి. మీరు పోస్ట్ చికిత్సా ఫలితాలను ఆధారంగా భిన్నత్వం ఆసక్తి ఉంటే, అప్పుడు మరింత క్లిష్టమైన approachs ఇటువంటి ఒక సూత్రం స్తరీకరణ వంటి అవసరమవుతాయి (Frangakis and Rubin 2002) ; చూడండి Page et al. (2015) ఒక సమీక్ష కోసం.

పలు పరిశోధకులు లీనియర్ రిగ్రెషన్ ఉపయోగించి చికిత్స ప్రభావాలు భిన్నత్వం అంచనా కాని కొత్త పద్ధతులను ఉదాహరణకు, యంత్ర అభ్యాస ఆధారపడతారు Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , మరియు Athey and Imbens (2016a) .

ఎందుకంటే బహుళ పోలిక సమస్యలు మరియు ". ఫిషింగ్" బహుళ పోలిక గురించి చిరునామా ఆందోళనలు సహాయం సంఖ్యా శాస్త్ర పలు విధానాలను ఉన్నాయి ప్రభావాలు భిన్నత్వం యొక్క పరిశోధనలను గురించి కొన్ని సంశయవాదం ఉంది (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ఫిషింగ్" గురించి ఆందోళనలు ఒక విధానాన్ని ముందు నమోదు, మనస్తత్వశాస్త్రంలో ఎక్కువగా తయారవుతున్నాయి ఇది ఉంది (Nosek and Lakens 2014) , రాజనీతిశాస్త్రం (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) మరియు ఆర్థిక (Olken 2015) .

అధ్యయనంలో Costa and Kahn (2013) గురించి మాత్రమే ప్రయోగంలో గృహాలు సగం జనాభా సమాచారం అనుసంధానించబడుతుంది పోయారు. ఈ విశ్లేషణ తో వివరాలు మరియు సాధ్యం సమస్యలు ఆసక్తి పాఠకులు అసలు పేపర్ను చూడండి ఉండాలి.

• మెకానిజమ్స్ (విభాగం 4.4.3)

మెకానిజమ్స్ చాలా ముఖ్యమైనవి, కానీ వారు అధ్యయనం చాలా కష్టం పరిణమించవచ్చు. విధానాల గురించి పరిశోధన దగ్గరగా మనస్తత్వశాస్త్రంలో మధ్యవర్తుల సంబంధిత అధ్యయనం (కానీ ఇది కూడా చూడండి VanderWeele (2009) రెండు ఆలోచనలు మధ్య ఒక ఖచ్చితమైన పోలిక కోసం). అభివృద్ధి విధానం వంటి కనుగొనడంలో పద్దతులకు స్టాటిస్టికల్ విధానాలు, Baron and Kenny (1986) చాలా సాధారణం. దురదృష్టవశాత్తు, అది ఆ విధానాలు కొన్ని బలమైన అంచనాలు ఆధారపడి హాజరవుతారు (Bullock, Green, and Ha 2010) మరియు ఎందఱో పరిస్థితుల్లో ఆశించవచ్చు వంటి, బహుళ విధానాల ఉన్నప్పుడు గురవుతాయి (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) మరియు Imai and Yamamoto (2013) కొన్ని మెరుగైన గణాంక పద్ధతులు అందిస్తున్నాయి. ఇంకా, VanderWeele (2015) సున్నితత్వం విశ్లేషణ సమగ్ర విధానం ముఖ్యమైన ఫలితాల ఒక సంఖ్యతో ఒక పుస్తక నిడివి చికిత్స అందిస్తుంది.

ఒక ప్రత్యేక విధానం నేరుగా విధానం (ఉదా ఇవ్వడం నావికులు విటమిన్ సి) మార్చటానికి ప్రయత్నించే ప్రయోగాలు దృష్టి పెడుతుంది. దురదృష్టవశాత్తు, అనేక సామాజిక శాస్త్రం సెట్టింగులు తరచూ పలు యాంత్రిక ఉన్నాయి మరియు ఇది ఇతరులు మారుతున్న లేకుండా ఒక మార్చుకోవాలని చికిత్సలు రూపొందించడానికి కష్టం. కొన్ని విధానాలు ప్రయోగపూర్వకంగా మార్చడం విధానాల వివరించబడ్డాయి వరకు Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , మరియు Pirlott and MacKinnon (2016) .

చివరగా, వ్యవస్థలనే సుదీర్ఘ చరిత్ర సైన్స్ ఫిలాసఫీ వర్ణించారు కలిగి Hedström and Ylikoski (2010) .

• ఇప్పటికే పరిసరాలలో ఉపయోగించి (విభాగం 4.5.1.1)

వివక్ష కొలిచేందుకు సుదూర అధ్యయనాలు మరియు ఆడిట్ అధ్యయనాలు వినియోగంపై మరింత కొరకు చూడండి Pager (2007) .

• మీ సొంత ప్రయోగం బిల్డ్ (విభాగం 4.5.1.2)

మీరు నిర్మించడానికి ప్రయోగాలు పాల్గొనే సమీకరణకు అత్యంత సాధారణ మార్గం అమెజాన్ మెకానికల్ టర్క్ (MTurk) ఉంది. సంప్రదాయ ల్యాబ్ పరిశోధనలు-చెల్లించి ప్రజలు MTurk అనుకరించడం అంశాలను ఉచితంగా వారు అనేక పరిశోధకులు అలా అని పనులు పూర్తి ఎందుకంటే ఇప్పటికే సంప్రదాయ కంటే వేగంగా మరియు చౌకగా డేటా సేకరణ ఫలితంగా మానవ విషయాలలో ప్రయోగాల్లో పాల్గొంటారు Turkers (MTurk కార్మికులకు) ఉపయోగించడం ప్రారంభించాయి ఆవరణలోనే ప్రయోగశాలలో ప్రయోగాలు (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk రిక్రూట్ పాల్గొనే ప్రయోగాలు పెద్ద బలం రవాణా పగవారు పరిశోధకులు త్వరగా అవసరమైన విధంగా పాల్గొనే సమీకరణకు అనుమతించడానికి. అయితే ల్యాబ్ పరిశోధనలు అమలు వారాలు పడుతుంది మరియు ఫీల్డ్ ప్రయోగాలు సెట్ అప్ నెలల పట్టవచ్చు, MTurk రిక్రూట్ పాల్గొనే ప్రయోగాలు రోజుల్లో అమలు చేయవచ్చు. ఉదాహరణకు, Berinsky, Huber, and Lenz (2012) ఒకే రోజులో 400 విషయాలను సమీకరణకు ఒక 8 నిమిషాల ప్రయోగం పాల్గొనేందుకు పోయారు. అంతేగాక ఆ పాల్గొనే (అధ్యాయాలు 3 లో చర్చించిన సర్వేలు మరియు సామూహిక సహకారంతో సహా 5) వాస్తవంగా ఏ ఉద్దేశానికైనా రిక్రూట్ చేసుకోవచ్చు. నియామక ఈ సౌలభ్యంలో పరిశోధకులు వెంటవెంటనే వరుస సంవత్సరాల్లో సంబంధిత ప్రయోగాలు సన్నివేశాలు అమలు దీని అర్థం.

మీ స్వంత పరిశోధనలకు MTurk నుండి పాల్గొనే నియమించుకొని ముందు, తెలిసిన నాలుగు ముఖ్యమైన విషయాలు ఉన్నాయి. మొదటి, అనేక మంది పరిశోధకులు Turkers పాల్గొన్న ప్రయోగాలు కాని నిర్దిష్ట సంశయవాదం ఉన్నాయి. ఈ సంశయవాదం నిర్దిష్ట కాదు కాబట్టి, దానిని ఆధారం తో ఎదుర్కోవడానికి కష్టం. అయితే, Turkers సర్వే అనేక సంవత్సరాల తరువాత, మేము ఇప్పుడు ఈ సంశయవాదం ముఖ్యంగా అవసరం లేదని తేల్చాయి చేయవచ్చు. ఇతర జనాభా మరియు ఇతర జనాభా నుండి ఫలితాలు Turkers ప్రయోగాలు ఫలితాలు పోల్చడం పలు అధ్యయనాల Turkers జనసంఖ్య పోల్చడం చాలా అధ్యయనాలు ఉన్నాయి. ఈ పనిలో ఇచ్చిన, నేను మీరు దాని గురించి ఆలోచించటం ఉత్తమ మార్గం Turkers చాలా విద్యార్థులు కానీ కొద్దిగా మరింత భిన్నంగా వంటి, ఒక సహేతుకమైన అనుకూల నమూనాను అని అని అనుకుంటున్నాను (Berinsky, Huber, and Lenz 2012) . అందువలన, విద్యార్థులు కొన్ని కోసం ఒక సహేతుకమైన జనాభా కాని అన్ని ప్రయోగాత్మక పరిశోధన కేవలం, Turkers కొన్ని కోసం ఒక సహేతుకమైన జనాభా కాని అన్ని పరిశోధన. మీరు Turkers పని వెళ్తున్నారు ఉంటే, అప్పుడు ఈ తులనాత్మక అధ్యయనాలు అనేక చదివి వారి నైపుణ్యాలను అర్ధం అర్ధమే.

రెండవది, పరిశోధకులు టర్క్ ప్రయోగాలు అంతర్గత చెల్లుబాటును పెరుగుతున్న కోసం ఉత్తమ పద్ధతులు అభివృద్ధి చేశారు, మరియు మీరు గురించి తెలుసుకోవడానికి మరియు ఈ ఉత్తమ పద్ధతులు అనుసరించాలి (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . ఉదాహరణకు, Turkers ఉపయోగించి పరిశోధకులు విస్మరించవచ్చు పాల్గొనే తొలగించడానికి screeners ఉపయోగించడానికి ప్రోత్సహించారు (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (కానీ ఇది కూడా చూడండి DJ Hauser and Schwarz (2015b) మరియు DJ Hauser and Schwarz (2015a) ). మీరు విస్మరించవచ్చు పాల్గొనే తొలగించటానికి లేకపోతే, అప్పుడు చికిత్స ఏ ప్రభావం విస్మరించవచ్చు పాల్గొనే నుండి పరిచయం శబ్దం ద్వారా కొట్టుకుపోయిన చేయవచ్చు, మరియు ఆచరణలో విస్మరించవచ్చు పాల్గొనేవారు సంఖ్య గణనీయమైనది. హుబెర్ మరియు సహచరులు ప్రయోగంలో (2012) పాల్గొనే 30% విఫలమైంది ప్రాథమిక దృష్టిని screeners. Turkers తో సర్వసాధారణమైన ఇంకొక సమస్య కాని సరళ పాల్గొనే ఉంది (Chandler et al. 2015) .

మూడవది, డిజిటల్ ప్రయోగాలు కొన్ని ఇతర రూపాలు సంబంధించిన MTurk ప్రయోగాలు స్కేల్ కాదు; Stewart et al. (2015) ఏదైనా సమయంలో MTurk మాత్రమే సుమారు 7,000 మంది ఉన్నారని అంచనా వేసింది.

చివరిగా, మీరు MTurk దాని సొంత నియమాలు మరియు నిబంధనలను తో ఒక సంఘం అని తెలుసు ఉండాలి (Mason and Suri 2012) . మీరు మీ ప్రయోగాలు అమలు మాత్రం అక్కడ ఒక దేశం యొక్క సంస్కృతి గురించి తెలుసుకోవడానికి ప్రయత్నిస్తాయి అదే విధంగా, మీరు సంస్కృతి మరియు Turkers నిబంధనలు గురించి మరింత తెలుసుకోవడానికి ప్రయత్నించాలి (Salehi et al. 2015) . మరియు, మీరు తగని లేదా అనైతిక ఏదో ఒకటి ఉంటే Turkers మీ ప్రయోగం గురించి మాట్లాడటం ఉంటుంది తెలుసు ఉండాలి (Gray et al. 2016) .

MTurk, మీ ప్రయోగాలు పాల్గొనే సమీకరణకు ఒక ఆశ్చర్యకరమైన అనుకూలమైన మార్గం వారు వంటి, ప్రయోగశాల లాంటి చేస్తున్నాయని Huber, Hill, and Lenz (2012) , లేదా వంటి మరింత వంటి రంగంలో, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , మరియు Mao et al. (2016) .

• మీ సొంత ఉత్పత్తి బిల్డ్ (విభాగం 4.5.1.3)

మీరు మీ సొంత ఉత్పత్తి సృష్టించడానికి ప్రయత్నిస్తున్న ఆలోచిస్తూ ఉంటే, నేను మీరు MovieLens సమూహం అందిస్తున్న సలహా చదివే సిఫార్సు Harper and Konstan (2015) . వారి అనుభవం నుండి ఒక కీ అంతర్దృష్టి ప్రతి విజయవంతమైన ప్రాజెక్ట్ కోసం అనేక, అనేక వైఫల్యాలను ఉన్నాయి అని. ఉదాహరణకు, MovieLens సమూహము పూర్తి విఫలమవటానికి GopherAnswers ఇతర ఉత్పత్తులు ప్రారంభించింది (Harper and Konstan 2015) . ఒక ఉత్పత్తి నిర్మించడానికి యత్నించిన విఫలమైందని ఒక పరిశోధకుడు మరొక ఉదాహరణ నిర్మించడానికి ఒక ఆన్లైన్ గేమ్ ఆర్డెన్ అని ఎడ్వర్డ్ Castronova యొక్క ప్రయత్నం. నిధులు $ 250,000 ఉన్నప్పటికీ, ఆ ప్రాజెక్ట్ విఫలమయ్యి (Baker 2008) . GopherAnswers మరియు ఆర్డెన్ వంటి ప్రాజెక్టులను దురదృష్టవశాత్తు MovieLens వంటి ప్రాజెక్టులు కంటే ఎక్కువగా ఉంటాయి. చివరగా, నేను విజయవంతంగా పునరావృతం ప్రయోగాలకు ఉత్పత్తులు అలుముకున్న ఏ ఇతర పరిశోధకులు తెలియదని చెప్పారు చేసినప్పుడు ఇక్కడ నా ప్రమాణం ఉన్నాయి: 1) పాల్గొన్న ఎందుకంటే వాటిని అందిస్తుంది ఏమి (ఉదా, వారు చెల్లించలేదు యొక్క ఉత్పత్తి ఉపయోగించడానికి మరియు వారు కాదు వాలంటీర్లు సహాయం విజ్ఞానం) మరియు 2) ఉత్పత్తి ఒకటి కంటే ఎక్కువ విలక్షణ ప్రయోగం (అంటే, అదే ప్రయోగాన్ని బహుళ వివిధ పాల్గొనే కొలనులు తో సార్లు) వాడుతున్నారు. మీరు ఇతర ఉదాహరణలు తెలిస్తే, నాకు తెలపండి.

• శక్తివంతమైన భాగస్వామి (విభాగం 4.5.2)

నేను పాశ్చర్ యొక్క క్వాడ్రంట్ టెక్ కంపెనీలు తరచూ చర్చలు ఆలోచన విన్న చేసిన, మరియు అది గూగుల్లో పరిశోధనా ప్రయత్నాలు నిర్వహించడానికి సహాయపడుతుంది (Spector, Norvig, and Petrov 2012) .

బాండ్ మరియు సహచరులు 'అధ్యయనం (2012) కూడా వాటిని అందుకున్న వారిలో స్నేహితులు ఈ చికిత్సలు ప్రభావాన్ని కనిపెట్టడానికి ప్రయత్నించే. ఎందుకంటే ప్రయోగాన్ని రూపకల్పన, ఈ spillovers సజావుగా గుర్తించడం కష్టం; ఆసక్తి పాఠకులు చూస్తారు Bond et al. (2012) మరింత సునిశితంగా చర్చకు. ఈ ప్రయోగం ఓటింగ్ ప్రోత్సహించడానికి ప్రయత్నాలు రాజకీయ శాస్త్రం ప్రయోగాలు సుదీర్ఘ సంప్రదాయం యొక్క భాగం (Green and Gerber 2015) . వారు పాశ్చర్ యొక్క దిక్కుగా ఎందుకంటే ఈ గెట్ అవుట్ ఓటు ప్రయోగాలు భాగంగా సర్వసాధారణం. ఓటింగ్ ఓటింగ్ పెంచడానికి ప్రవర్తన మార్పు మరియు సామాజిక ప్రభావం గురించి మరింత సాధారణ సిద్ధాంతాల పరీక్షించడానికి ఒక ఆసక్తికరమైన ప్రవర్తన ఉంటుంది ప్రేరణ అనేక మంది ప్రజలు ఉన్నాయి, ఉంది.

ఇతర పరిశోధకులు ఈ విధంగా రాజకీయ పార్టీలు, NGO లు మరియు వ్యాపారాలు భాగస్వామి సంస్థలు రంగంలో ప్రయోగాలు అమలు గురించి సలహాలు అందించిన (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . ఇతరత్రా సంస్థలతో భాగస్వామ్యం పరిశోధన నమూనాలు ప్రభావితం చేయవచ్చు ఎలా సలహా అందించారు (Green, Calfano, and Aronow 2014; King et al. 2007) . పార్టనర్షిప్ కూడా నైతికత ప్రశ్నలకు దారి తీస్తుంది (Humphreys 2015; Nickerson and Hyde 2016) .

• డిజైన్ సలహా (విభాగం 4.6)

మీరు మీ ప్రయోగం నడుస్తున్న ముందు ఒక విశ్లేషణ ప్రణాళిక సృష్టించడానికి వెళ్తున్నారు ఉంటే, నేను నివేదిక మార్గదర్శకాలను చదవడం ద్వారా మీరు మొదలు సూచిస్తున్నాయి. కాన్సోర్ట్ మార్గదర్శకాలు (ట్రయల్స్ కన్సాలిడేటెడ్ ప్రామాణిక నివేదనను) వైద్యంలో అభివృద్ధి చేయబడ్డాయి (Schulz et al. 2010) మరియు సామాజిక పరిశోధన కోసం చివరి మార్పు (Mayo-Wilson et al. 2013) . మార్గదర్శకాలు సంబంధించిన ప్రయోగాత్మక పొలిటికల్ సైన్స్ జర్నల్ యొక్క సంపాదకులు ద్వారా అభివృద్ధి చేయబడింది (Gerber et al. 2014) (ఇవి కూడా చూడండి Mutz and Pemantle (2015) మరియు Gerber et al. (2015) ). చివరగా, నివేదించే మార్గదర్శకాలు మనస్తత్వ అభివృద్ధి చేయబడ్డాయి (Group 2008) , మరియు కూడా చూడండి Simmons, Nelson, and Simonsohn (2011) .

మీరు ఒక విశ్లేషణ ప్రణాళిక సృష్టించడానికి మీరు ముందు నమోదు ఇతరులు మీ ఫలితాల్లో ఉన్నంత విశ్వాసంతో పెరుగుతుంది ఎందుకంటే ఇది పూర్వ నమోదు పరిగణించాలి. మరింత, మీరు ఒక భాగస్వామి తో పని ఉంటే, అది ఫలితాలను చూసిన తరువాత విశ్లేషణ మార్చడానికి మీ భాగస్వామి యొక్క సామర్థ్యం పరిమితం చేయబడుతుంది. ముందు నమోదు మనస్తత్వ శాస్త్రంలో ఎక్కువగా సర్వసాధారణమైపోయింది (Nosek and Lakens 2014) , రాజనీతిశాస్త్రం (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , మరియు ఆర్థిక (Olken 2015) .

మీ ముందు విశ్లేషణ ప్రణాళిక సృష్టించేటప్పుడు మీరు కొన్ని పరిశోధకులు కూడా అంచనా చికిత్స ప్రభావం యొక్క ఖచ్చిత మెరుగు రిగ్రెషన్ మరియు సంబంధిత విధానాలను ఉపయోగించవచ్చు తెలుసుకోండి ఉండాలి, మరియు ఈ విధానం గురించి కొంత చర్చ జరుగుతుంది: Freedman (2008) , Lin (2013) , మరియు Berk et al. (2013) ; చూడండి Bloniarz et al. (2016) మరింత సమాచారం కోసం.

ఆన్లైన్ రంగంలో పరిశోధనలకు డిజైన్ సలహా ప్రత్యేకంగా కూడా ప్రదర్శించబడుతుంది Konstan and Chen (2007) మరియు Chen and Konstan (2015) .

• సున్నా వేరియబుల్ ఖర్చు డేటా సృష్టించు (విభాగం 4.6.1)

MusicLab ప్రయోగాలపై మరింత కోసం, చూడండి Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) మరియు Salganik (2007) . విజేత తీసుకోవడం-అన్ని మార్కెట్లలో మరింత కోసం, చూడండి Frank and Cook (1996) . సాధారణంగా చిక్కు లోంచి అదృష్టం మరియు నైపుణ్యం మీద మరింత సమాచారం కోసం, చూడండి Mauboussin (2012) , Watts (2012) , మరియు Frank (2016) .

నిర్బంధ సైనిక శిక్షణ: పరిశోధకులు జాగ్రత్తతో వాడాలి పాల్గొనే చెల్లింపులు తొలగించడం మరొక విధానం ఉంది. అనేక ఆన్లైన్ రంగంలో పరిశోధనల్లో పాల్గొన్న ప్రాథమికంగా ప్రయోగాలు తీసుకోవడం మరియు ఎప్పుడూ పరిహారం ఉంటాయి. ఈ పద్ధతికి ఉదాహరణల్లో సెటినా మరియు వాన్ డి Rijt యొక్క ఉన్నాయి (2012) వికీపీడియా మరియు బాండ్ మరియు సహోద్యోగి యొక్క ప్రతిఫలాన్ని ప్రయోగాత్మకంగా (2012) ప్రజలను వోటు ప్రోత్సహించడం ప్రయోగం. ఈ ప్రయోగాలు నిజంగా సున్నా వేరియబుల్ ఖర్చు లేదు, వారు పరిశోధకుల సున్నా వేరియబుల్ ఖర్చు ఉంటుంది. ఈ ప్రయోగాల అనేక ఖర్చుతో ప్రతి భాగస్వామికి చాలా చిన్న అయినప్పటికీ, చిన్న ఖర్చులు పాల్గొనేవారు యొక్క అనేకమైన త్వరగా జోడించవచ్చు విధించింది. భారీ ఆన్లైన్ ప్రయోగాలు నడుస్తున్న పరిశోధకులు తరచూ అనేక మంది వర్తించినప్పుడు ఈ చిన్న ప్రభావాలు ముఖ్యం కావచ్చు చెప్పి చిన్న అంచనా చికిత్సా ఫలితాలని ప్రాముఖ్యత జస్టిఫై. ఖచ్చితమైన ఆలోచన పరిశోధకులు పాల్గొన్న నెట్టి ఖర్చులు వర్తిస్తుంది. మీ ప్రయోగాలు ఒక మిలియన్ ప్రజలు ఒక నిమిషం వృధా కారణమవుతుంది, ప్రయోగానికి ఏదైనా నిర్దిష్ట వ్యక్తి చాలా హానికరం కాదు, కానీ సగటు అది సమయం దాదాపు రెండు సంవత్సరాల వృధా చేసింది.

పాల్గొనే సున్నా వేరియబుల్ ధర చెల్లింపు సృష్టించడం ఇంకొక పద్ధతి లాటరీ, కూడా సర్వే పరిశోధనలో ఉపయోగిస్తారు చేయబడిన ఒక విధానాన్ని ఉపయోగిస్తారు (Halpern et al. 2011) . చివరగా, రూపకల్పన గురించి మరింత ఆనందించే యూజర్ అనుభవాలు చూడండి Toomim et al. (2011) .

• పునఃస్థాపించుము మెరుగుపరచండి, మరియు తగ్గించడం (విభాగం 4.6.2)

ఇక్కడ నుండి మూడు R యొక్క అసలు నిర్వచనాలు ఉన్నాయి Russell and Burch (1959) :

"భర్తీ జడమైన పదార్థం యొక్క చేతన జీవన ఉన్నత జంతువులు ప్రతిక్షేపణ అర్థం. తగ్గింపు ఇచ్చిన మొత్తాన్ని మరియు ఖచ్చితత్వము యొక్క సమాచారం పొందటానికి జంతువుల సంఖ్యలో తగ్గింపు అర్థం. శుద్ధీకరణ సంభవం లేదా ఇప్పటికీ ఉపయోగిస్తారు కలిగి ఉన్న జంతువులకు దరఖాస్తు అమానవీయంగా విధానాలు తీవ్రతలో ఏ తగ్గుదల అర్థం. "

మూడు R యొక్క నేను ప్రతిపాదిం అధ్యాయము 6. వివరించిన నీతిసూత్రాలు భర్తీ లేదు అయితే, మానవ ప్రయోగాలు సెట్టింగ్ ఆ నియమాల క్షేమం-ప్రత్యేకంగా మరింత విశదీకరించబడ్డాయి వెర్షన్ ఒకటి.

ఎమోషనల్ ఒకరి నుండి ఇంకొకరి వ్యాపించేది పరిగణలోకి తీసుకున్నప్పుడు, ఈ ప్రయోగం అన్వయించే గుర్తుంచుకోండి మూడు కాని నైతిక సమస్యలు ఉన్నాయి. మొదటి, ఇది ప్రయోగం వాస్తవ వివరాలు సైద్ధాంతిక వాదనలు కనెక్ట్ ఎలా స్పష్టంగా లేదు; ఇతర మాటలలో, నిర్మాణం విలువ పట్ల ప్రశ్నలు ఉన్నాయి. ఇది 1) ఇది స్పష్టంగా లేదు ఎందుకంటే అనుకూల మరియు ప్రతికూల పదం గణనలు నిజానికి పాల్గొనే మానసిక స్థితి ఒక మంచి సూచిక అని ప్రజలు మళ్ళించే పదాలు వారి భావోద్వేగాలు ఒక మంచి సూచిక అని స్పష్టంగా లేదు 2) దాన్ని చెప్పడం కష్టంగా ఉంది పరిశోధకులు ఉపయోగించిన నిర్దిష్ట సెంటిమెంట్ విశ్లేషణ టెక్నిక్ విశ్వసనీయంగా భావోద్వేగాలు అనుమానించగలిగాడు (Beasley and Mason 2015; Panger 2016) . ఇతర మాటలలో, ఒక కుహనా సిగ్నల్ యొక్క ఒక చెడ్డ కొలత ఉండవచ్చు. రెండవది, ప్రయోగం రూపకల్పన మరియు విశ్లేషణ మాకు చాలా ప్రభావితం చేసిన (అంటే, చికిత్సా ఫలితాలని భిన్నత్వం యొక్క ఏ విశ్లేషణలో ఉంది) యంత్రాంగాన్ని కావచ్చు ఏమి గురించి ఏమీ చెబుతుంది. ఈ సందర్భంలో, పరిశోధకులు పాల్గొనే గురించి సమాచారాన్ని మా ఉన్నప్పటికీ, వారు తప్పనిసరిగా విశ్లేషణలో విడ్జెట్లను వంటి చేర్పించారు. మూడవది, ఈ ప్రయోగం ప్రభావ పరిమాణం చాలా చిన్నదిగా ఉంది; చికిత్స మరియు నియంత్రణ పరిస్థితులు మధ్య వ్యత్యాసం 1,000 పదాలు గురించి 1 ఉంది. వారి పరిశోధనా పత్రంలో, క్రామెర్ మరియు సహచరులు లక్షల మంది ప్రజలు వందల వారి న్యూస్ ప్రతి రోజు ఫీడ్ యాక్సెస్ ఎందుకంటే ఈ పరిమాణం యొక్క ప్రభావము ముఖ్యం అని సందర్భాన్ని సూచించారు. ఇతర మాటలలో, వారు సగటు పెద్దవిగా ప్రతి వ్యక్తి కోసం చిన్న అని కూడా ప్రభావాలు వాదిస్తున్నారు. ఈ వాదన అంగీకరించడానికి ఉన్నప్పటికీ, అది ఇప్పటికీ స్పష్టంగా లేదు ఈ పరిమాణం యొక్క ప్రభావము భావోద్వేగ అంటువ్యాధి గురించి మరింత సాధారణ శాస్త్ర ప్రశ్న సంబంధించి ముఖ్యం ఉంటే. చిన్న ప్రభావాలు ముఖ్యంగా ఉండే పరిస్థితుల ఆధారంగా కొరకు చూడండి Prentice and Miller (1992) .

తొలి R (ప్రత్యామ్నాయం), పరంగా ఎమోషనల్ ఒకరి నుండి ఇంకొకరి వ్యాపించేది ప్రయోగం పోల్చడం (Kramer, Guillory, and Hancock 2014) మరియు భావోద్వేగ అంటువ్యాధి సహజ ప్రయోగం (Coviello et al. 2014) నుండి కదిలే చేరి విక్రయాల్లో గురించి కొన్ని సాధారణ పాఠాలు అందిస్తుంది సహజ ప్రయోగాలు ప్రయోగాలు (మరియు కాని ప్రయోగాత్మక డేటా ప్రయోగాలు ఇంచుమించుగా ఆ ప్రయత్నంలో సరిపోలే వంటి ఇతర విధానాలు, చాప్టర్ 2 చూడండి). నైతిక ప్రయోజనాలకు అదనంగా, ప్రయోగాత్మక నుండి కాని ప్రయోగాత్మక అధ్యయనాలు మారడం కూడా వారు logistically విస్తరించడానికి పోయాము చికిత్సలు అధ్యయనం పరిశోధకులు అనుమతిస్తుంది. ఈ నైతిక మరియు రవాణా ప్రయోజనాలు అయితే, వ్యయంతో వస్తాయి. సహజ ప్రయోగాలతో పరిశోధకులు చికిత్స యొక్క స్వభావం పాల్గొనే నియమరహితం భర్తీకి వంటి విషయాలు పైగా తక్కువ నియంత్రణ కలిగి, మరియు. ఉదాహరణకు, ఒక చికిత్సగా వర్షపాతాన్ని పరిమితి రెండు సానుకూలతను పెంచుతుంది మరియు ప్రతికూల తగ్గిపోతుంటుంది. ప్రయోగాత్మక అధ్యయనంలో, అయితే, క్రామెర్ మరియు సహచరులు స్వతంత్రంగా అనుకూల మరియు ప్రతికూల సర్దుబాటు పోయారు.

ద్వారా వినియోగించే నిర్దిష్టమైన విధానం Coviello et al. (2014) మరింత లో విశదీకరించబడ్డాయి జరిగినది Coviello, Fowler, and Franceschetti (2014) . వాయిద్య వైవిధ్యాలకు పరిచయం కొరకు చూడండి Angrist and Pischke (2009) (తక్కువ దుస్తులు) లేదా Angrist, Imbens, and Rubin (1996) (మరింత దుస్తులు). వాయిద్య వేరియబుల్స్ అ స్కెప్టికల్ ప్రశంశకు చూడండి Deaton (2010) , మరియు బలహీనమైన సాధన (వర్షం బలహీనమైన పరికరం) వాయిద్య వైవిధ్యాలకు పరిచయం కొరకు, చూడండి Murray (2006) .

మరింత సాధారణంగా, సహజ ప్రయోగాలు మంచి పరిచయం ఉంది Dunning (2012) , మరియు Rosenbaum (2002) , Rosenbaum (2009) , మరియు Shadish, Cook, and Campbell (2001) ప్రయోగాలు లేకుండా కారణ ప్రభావాలు అంచనా గురించి మంచి ఆలోచనలు అందించే.

రెండవ R (శుద్ధీకరణ) పరంగా, శాస్త్రీయ మరియు రవాణా విక్రయాల్లో పోస్ట్లు పెంచడం పోస్ట్లు నిరోధించడాన్ని ఎమోషనల్ అంటువ్యాధి యొక్క డిజైన్ మార్చడం విషయంలో ఉన్నాయి. ఉదాహరణకు, అది న్యూస్ ఫీడ్ యొక్క సాంకేతిక అమలుచే అది పోస్ట్లు పెంచడం ఒక ప్రయోగం కాకుండా పోస్ట్లు నిరోధించడాన్ని ఒక ప్రయోగం చేయాలని గణనీయంగా సులభం చేస్తుంది ఆ సందర్భంలో ఉండవచ్చు (పోస్ట్ నిరోధించడాన్ని ఒక ప్రయోగం ఒక పొర వలె అమలు చేశాడు గమనించండి అంతర్లీన వ్యవస్థ మార్పులు) కోసం ఏ అవసరం లేకుండా న్యూస్ ఫీడ్ వ్యవస్థ పైన. శాస్త్రీయంగా, అయితే, ప్రయోగాత్మకంగా ప్రసంగించారు సిద్ధాంతం స్పష్టంగా ఇతర మీద ఒక డిజైన్ సూచించలేదు.

దురదృష్టవశాత్తు, నేను అడ్డుకున్న న్యూస్ ఫీడ్ లో కంటెంట్ పెంచడం సంబంధిత ప్రయోజనాలపై గురించి గణనీయమైన ముందస్తు పరిశోధన తెలుసు. అలాగే, నేను వాటిని తక్కువ హానికరమైన చేయడానికి చికిత్సలు సరిచేస్తూ గురించి చాలా పరిశోధన చూడని; ఒక మినహాయింపు ఉంది Jones and Feamster (2015) , ఇంటర్నెట్ సెన్సార్షిప్ కొలత విషయంలో భావించింది (నేను ఎంకోర్ అధ్యయనం సంబంధం చాప్టర్ 6 లో చర్చించడానికి ఒక అంశంగా (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

మూడో ఆర్ (తగ్గింపు) పరంగా, సంప్రదాయ శక్తి విశ్లేషణ మంచి పరిచయం ఉంది Cohen (1988) . ముందుగానే శుద్ధి పరిచే రూపకల్పన దశలో ప్రయోగాలు విశ్లేషణ దశలో చేరుస్తారు; 4 వ అధ్యాయం Gerber and Green (2012) పద్ధతులు మంచి పరిచయం అందిస్తుంది, మరియు Casella (2008) ఒక మరింత లోతైన చికిత్స అందిస్తుంది. నియమరహితం ఈ ముందుగానే శుద్ధి సమాచారాన్ని ఉపయోగించే టెక్నిక్స్ సాధారణంగా గాని ప్రయోగాత్మక నమూనాలు లేదా అంతస్థులుగా ప్రయోగాత్మక నమూనాలు (పరిభాష కమ్యూనిటీలు క్రమపద్ధతిలో ఉపయోగించరు) బ్లాక్ పిలుస్తారు; ఈ పద్ధతులు లోతుగా అంతస్థులుగా నమూనా సాంకేతికతలను అధ్యాయము 3. సీ చర్చించబడినవి సంబంధం కలిగి ఉంటాయి Higgins, Sävje, and Sekhon (2016) భారీ ప్రయోగాల్లో ఈ నమూనాలు ఉపయోగించి మరింత కోసం. ముందుగానే శుద్ధి పరిచే విశ్లేషణ దశలో చేరుస్తారు. McKenzie (2012) ఎక్కువ వివరాలు రంగంలో ప్రయోగాలు విశ్లేషించడం తేడాలు-లో-తేడాలు విధానం విశ్లేషించారు. చూడండి Carneiro, Lee, and Wilhelm (2016) చికిత్స ప్రభావాలు అంచనాలు నిర్దిష్టతను పెంచడానికి వివిధ విధానాలు మధ్య విక్రయాల్లో మరింత కోసం. చివరగా, డిజైన్ లేదా విశ్లేషణ దశ (లేదా రెండు) ముందే చికిత్స పరిచే చేర్చడానికి ప్రయత్నించండి నిర్ణయించడానికి, అక్కడ పరిగణలోకి కొన్ని కారకాలు. పరిశోధకులు వారు "ఫిషింగ్" లేని చూపించు ఎక్కడ సెట్టింగ్ (Humphreys, Sierra, and Windt 2013) , డిజైన్ దశలో ముందుగానే శుద్ధి పరిచే ఉపయోగించి సహాయపడతాయి (Higgins, Sävje, and Sekhon 2016) . పాల్గొనే వరుసగా వద్దకు ముఖ్యంగా మైదానంలో ప్రయోగాలు, డిజైన్ దశలో ముందుగానే శుద్ధి సమాచారాన్ని ఉపయోగించి logistically కష్టం అయ్యే సందర్భాలలో, ఉదాహరణకు చూడండి Xie and Aurisset (2016) .

ఇది తేడా ఇన్ మార్గాల కన్నా తేడా-వైవిధ్యాలకు మరింత ప్రభావవంతంగా ఉంటుంది ఎందుకు ఊహ ఒక బిట్ జోడించడం విలువ. అనేక ఆన్లైన్ ఫలితాలను చాలా అధిక తేడాను కలిగితే (చూడండి ఉదా, Lewis and Rao (2015) మరియు Lamb et al. (2015) ) మరియు కాలక్రమేణా సాపేక్షంగా స్థిరంగా ఉంటాయి. ఈ సందర్భంలో, మార్పు స్కోరు గణాంక పరీక్ష శక్తి పెంచడం, గణనీయంగా చిన్న భేదము ఉంటుంది. ఈ సంప్రదించగానే తరచుగా ఉపయోగించరు ఒక కారణం డిజిటల్ యుగం ముందు ఇది పూర్వ చికిత్సా ఫలితాలను కలిగి సాధారణ కాదు అని ఉంది. దాని గురించి ఆలోచించడం మరింత కాంక్రీటు మార్గం ఒక నిర్దిష్ట వ్యాయామంలో బరువు నష్టం కలిగిస్తుంది అని కొలిచే ఒక ప్రయోగం ఊహించండి. మీరు ఒక తేడా ఇన్ మార్గాల విధానం చేస్తే, మీ అంచనా జనాభాలో బరువులు లో వైవిధ్యం నుండి వస్తుంది ఆ పరివర్తన ఉంటుంది. మీరు ఒక తేడా ఇన్ తేడా విధానం అలా అయితే, బరువులు ఆ సహజంగా సంభవించే వైవిధ్యం తీసివేయబడుతుంది మరియు మీరు మరింత సులభంగా చికిత్స వలన తేడా గుర్తించగలదు.

మీ ప్రయోగంలో పాల్గొనే సంఖ్యను తగ్గించే ఒక ముఖ్యమైన మార్గం క్రామెర్ మరియు సహచరులు ద్వారా సహజ ప్రయోగం నుండి పిలువబడే ప్రభావం పరిమాణాలు ఆధారంగా చేసిన చేయగల శక్తి విశ్లేషణ, చర్యగా ఉంది Coviello et al. (2014) లేదా అంతకు క్రామర్ ద్వారా కాని ప్రయోగాత్మకమైన పరిశోధన (2012) (నిజానికి ఈ ఈ అధ్యాయం చివర కార్యకలాపాలు). విద్యుత్ విశ్లేషణ యొక్క ఈ ఉపయోగం విలక్షణ కంటే భిన్నమైనది అని గమనించండి. అనలాగ్ వయస్సు లో, పరిశోధకులు సాధారణంగా వారి అధ్యయనం చాలా చిన్న లేదు అని నిర్ధారించడానికి అధికారం విశ్లేషణ చేశారు (అంటే శక్తి అండర్). ఇప్పుడు, అయితే, పరిశోధకులు పవర్ అనాలిసిస్ వారి అధ్యయనం చాలా పెద్ద కాదు నిర్ధారించుకోండి చెయ్యాలి (అంటే, ఓవర్ శక్తితో).

దీనిలో: చివరగా, నేను నాల్గవ ఆర్ జోడించడం భావిస్తారు. వారు వారి అసలు పరిశోధన ప్రశ్న పరిష్కరించేందుకు అవసరం కంటే పరిశోధకులకు మరింత ప్రయోగాత్మక సమాచారముతో తమను కనుగొనేందుకు ఉంటే, వారు కొత్త ప్రశ్నించేందుకు డేటా దీనిలో ఉండాలి, ఉంది. ఉదాహరణకు, క్రామెర్ మరియు సహచరులు తమ పరిశోధన ప్రశ్న పరిష్కరించేందుకు అవసరమైన కంటే ఎక్కువ డేటా తో తేడా ఇన్ తేడాలు అంచనా వేస్తుంది ఉపయోగిస్తారు మరియు ఉందని తాము ఊహించుకోండి. అయితే పూర్తిసామర్థ్యం మేరకు డేటా ఉపయోగించి కానప్పటికీ, వారు ముందుగా చికిత్సకు భావోద్వేగ వ్యక్తీకరణలు విధిగా ప్రభావ పరిమాణాన్ని అధ్యయనం కాలేదు. అంతే Schultz et al. (2007) చికిత్స ప్రభావం బహుశా న్యూస్ ఫీడ్ యొక్క ప్రభావాలు ఇప్పటికే సంతోషంగా (లేదా విచారంగా) సందేశాలను పోస్ట్ మొగ్గు వ్యక్తులకి భిన్నంగా ఉన్నాయి, కాంతి మరియు భారీ వినియోగదారులకు వివిధ అని కనుగొన్నారు. పునఃసృష్టి "చేయగలిగిన వాడు ఫిషింగ్" దారి తీయవచ్చు (Humphreys, Sierra, and Windt 2013) మరియు "పి-హ్యాకింగ్" (Simmons, Nelson, and Simonsohn 2011) , కానీ ఈ ఎక్కువగా నిజాయితీ రిపోర్టింగ్ కలిపి అడ్రస్బుల్ ఉంటాయి (Simmons, Nelson, and Simonsohn 2011) , ముందుగా రిజిస్ట్రేషన్ (Humphreys, Sierra, and Windt 2013) , మరియు పైగా బిగించే నివారించేందుకు ప్రయత్నించే యంత్ర అభ్యాస పద్దతులను.