తదుపరి చదవటానికి ఏమి

• పరిచయం (సెక్షన్ 4.1)

సాంఘిక పరిశోధనలో కారణాల గురించి తరచుగా సంక్లిష్టంగా మరియు క్లిష్టమైనవి. కారల్ గ్రాఫ్స్పై ఆధారపడిన కారణానికి ఒక పునాది విధానానికి, Pearl (2009) మరియు సంభావ్య ఫలితాలపై ఆధారపడిన పునాది విధానాన్ని చూడండి, Imbens and Rubin (2015) . ఈ రెండు విధానాలకు మధ్య పోలిక కోసం, Morgan and Winship (2014) . వివాదాస్పదమును నిర్వచించుటకు అధికారిక విధానం కొరకు, చూడండి VanderWeele and Shpitser (2013) .

ఈ అధ్యాయంలో, నేను ప్రయోగాత్మక మరియు ప్రయోగాత్మక డేటా నుండి కారకమైన అంచనాలు చేయడానికి మా సామర్థ్యానికి మధ్య ఒక ప్రకాశవంతమైన రేఖ వలె కనిపించింది. అయితే, వాస్తవానికి, వ్యత్యాసం మరింత అస్పష్టంగా ఉందని నేను భావిస్తున్నాను. ఉదాహరణకు, ప్రతి ఒక్కరూ ధూమపానం చేయగల నియంత్రణ ప్రయోగం ఎప్పుడూ పొగత్రాగడం వలన, ధూమపానం క్యాన్సర్కు కారణమని అంగీకరిస్తుంది. Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) మరియు Dunning (2012) Rosenbaum (2002) , కాని ప్రయోగాత్మక డేటా నుండి అసాధారణమైన అంచనాలు తయారు చేయడానికి అద్భుతమైన పుస్తకం-పొడవు చికిత్సలకు.

Freedman, Pisani, and Purves (2007) యొక్క 1 మరియు 2 అధ్యాయాలు ప్రయోగాలు, నియంత్రిత ప్రయోగాలు మరియు యాదృచ్ఛిక నియంత్రిత ప్రయోగాల మధ్య వ్యత్యాసాలకు స్పష్టమైన పరిచయం అందించాయి.

Manzi (2012) యాదృచ్ఛిక నియంత్రిత ప్రయోగాలు యొక్క తాత్విక మరియు గణాంక అండర్పైనింగ్స్కు ఒక మనోహరమైన మరియు చదవగలిగే పరిచయంను అందిస్తుంది. వ్యాపారంలో ప్రయోగాల యొక్క శక్తి యొక్క ఆసక్తికరమైన వాస్తవిక ఉదాహరణలను కూడా ఇది అందిస్తుంది. Issenberg (2012) రాజకీయ ప్రచారంలో ప్రయోగాత్మక ఉపయోగం కోసం ఒక మనోహరమైన పరిచయం అందిస్తుంది.

• ప్రయోగాలు ఏమిటి? (విభాగం 4.2)

Box, Hunter, and Hunter (2005) , @ కాసెల్లాస్టాటికల్_2008, మరియు అథేయ్ Athey and Imbens (2016b) ప్రయోగాత్మక రూపకల్పన మరియు విశ్లేషణ యొక్క గణాంక అంశాలను మంచి పరిచయాలను అందిస్తాయి. ఆర్థికశాస్త్రం: ఇంకనూ అనేక వివిధ రంగాల్లో ప్రయోగాలు వాడుకలో అద్భుతమైన చికిత్సలు ఉన్నాయి (Bardsley et al. 2009) , సోషియాలజీ (Willer and Walker 2007; Jackson and Cox 2013) , మనస్తత్వ (Aronson et al. 1989) , రాజనీతిశాస్త్రం (Morton and Williams 2010) , మరియు సాంఘిక విధానం (Glennerster and Takavarasha 2013) .

పాల్గొనే నియామకం యొక్క ప్రాముఖ్యత (ఉదా., మాదిరి) తరచుగా ప్రయోగాత్మక పరిశోధనలో తక్కువగా ఉంటుంది. అయినప్పటికీ, చికిత్స యొక్క ప్రభావం జనాభాలో వైవిధ్యమైనది అయితే, అప్పుడు మాదిరి క్లిష్టమైనది. Longford (1999) పరిశోధకులు, అస్తవ్యస్త నమూనాతో ఒక సర్వే సర్వేగా ప్రయోగాలు చేయాలని ఆలోచిస్తున్నప్పుడు ఈ విషయాన్ని స్పష్టం చేస్తాడు.

• ప్రయోగాల రెండు పరిమాణాలు: ల్యాబ్-ఫీల్డ్ మరియు అనలాగ్-డిజిటల్ (విభాగం 4.3)

ప్రయోగశాల మరియు క్షేత్ర ప్రయోగాలు మధ్య నిరంతరాయంగా ఉందని నేను సూచించాను మరియు ఇతర పరిశోధకులు వివిధ వివరణాత్మక ప్రయోగాలు (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) వేరు చేసే విశేషమైన వివరణాత్మక (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

అనేక పత్రాలు లాబొరేటరీ మరియు రంగంలో ప్రయోగాలు (Falk and Heckman 2009; Cialdini 2009) మరియు రాజకీయ శాస్త్రంలో (Coppock and Green 2015) , ఎకనామిక్స్ (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , మరియు మనస్తత్వశాస్త్రం (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ప్రయోగశాల మరియు క్షేత్ర ప్రయోగాలు నుండి ఫలితాలను పోల్చడానికి మంచి పరిశోధన రూపకల్పనను అందిస్తున్నాయి. Parigi, Santana, and Cook (2017) ఆన్లైన్ ప్రయోగాలు ప్రయోగశాల మరియు క్షేత్ర ప్రయోగాల యొక్క కొన్ని లక్షణాలను మిళితం Parigi, Santana, and Cook (2017) వివరిస్తుంది.

పాల్గొన్నవారు తమ ప్రవర్తనను మార్చడం గురించి వారి ఆందోళనను మార్చడం వలన వారు తరచుగా పరిశీలించబడుతున్నారని తెలుసుకొని కొన్నిసార్లు డిమాండ్ ప్రభావాలను పిలుస్తారు మరియు వారు మనస్తత్వశాస్త్రం (Orne 1962) మరియు ఆర్థిక శాస్త్రం (Zizzo 2010) లో అధ్యయనం చేయబడ్డారు. లాబ్ ప్రయోగాలు ఎక్కువగా సంబంధం కలిగివున్నప్పటికీ, ఇదే సమస్యలు ఫీల్డ్ ప్రయోగాల్లో సమస్యలను కలిగిస్తాయి. నిజానికి, డిమాండ్ ప్రభావాలు కొన్నిసార్లు హాథోర్న్ ఎఫెక్ట్స్ అని కూడా పిలువబడతాయి, 1924 లో వెస్ట్రన్ ఎలక్ట్రిక్ కంపెనీ యొక్క హాథోర్న్ వర్క్స్ (Adair 1984; Levitt and List 2011) వద్ద ప్రారంభమైన ప్రఖ్యాత ప్రకాశం ప్రయోగాలు వచ్చాయి. రెండు డిమాండ్ ప్రభావాలు మరియు హౌథ్రోన్ ప్రభావాలు చాప్టర్ 2 లో చర్చించబడే రియాక్టివ్ కొలత ఆలోచనకు దగ్గరి సంబంధం కలిగి ఉన్నాయి ( Webb et al. (1966) కూడా చూడండి).

ఫీల్డ్ ప్రయోగాలు ఆర్థికశాస్త్రం సుదీర్ఘ చరిత్ర కలిగి (Levitt and List 2009) , రాజనీతిశాస్త్రం (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , మనస్తత్వ (Shadish 2002) , మరియు ప్రజా విధానం (Shadish and Cook 2009) . క్షేత్ర ప్రయోగాలు త్వరగా ప్రాచుర్యం పొందిన సాంఘిక శాస్త్రంలో ఒక ప్రాంతం అంతర్జాతీయ అభివృద్ధి. ఆర్థికశాస్త్రంలో ఆ పని యొక్క సానుకూల సమీక్ష కోసం Banerjee and Duflo (2009) , మరియు క్లిష్టమైన అంచనా కోసం Deaton (2010) . రాజకీయ శాస్త్రంలో ఈ పని యొక్క సమీక్ష Humphreys and Weinstein (2009) . చివరగా, రాజకీయ శాస్త్రం (Humphreys 2015; Desposato 2016b) మరియు డెవెలప్మెంట్ ఎకనామిక్స్ (Baele 2013) లో రంగంలో ప్రయోగాల నుండి ఉత్పన్నమైన నైతిక సవాళ్ళు అన్వేషించబడ్డాయి.

ఈ విభాగంలో, అంచనా చికిత్స ప్రభావాలను ఖచ్చితత్వాన్ని మెరుగుపరిచేందుకు ముందు చికిత్స సమాచారం ఉపయోగించవచ్చని నేను సూచించాను, కానీ ఈ విధానం గురించి కొంత చర్చ ఉంది; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , మరియు Bloniarz et al. (2016) మరింత సమాచారం కోసం.

చివరగా, ప్రయోగశాల క్షేత్రంతో సరిగ్గా సరిపోని సామాజిక శాస్త్రవేత్తలు నిర్వహించిన రెండు ఇతర ప్రయోగాలు ఉన్నాయి: సర్వే ప్రయోగాలు మరియు సామాజిక ప్రయోగాలు. సర్వే ప్రయోగాలు ప్రస్తుతం ఉన్న సర్వేల యొక్క అవస్థాపనను ఉపయోగించి ప్రయోగాలు మరియు అదే ప్రశ్నలకు ప్రత్యామ్నాయ సంస్కరణలకు ప్రతిస్పందనలను సరిపోల్చాయి (కొన్ని సర్వే ప్రయోగాలు చాప్టర్ 3 లో సమర్పించబడ్డాయి); సర్వే ప్రయోగాల్లో మరింతగా Mutz (2011) . సామాజిక ప్రయోగాలు ఒక ప్రభుత్వంచే అమలు చేయగల కొన్ని సామాజిక విధానంగా చికిత్స ప్రయోగాలు. సామాజిక ప్రయోగాలు ప్రోగ్రామ్ మూల్యాంకనంకు దగ్గరి సంబంధం కలిగి ఉంటాయి. విధానం ప్రయోగాల్లో మరిన్నింటి కోసం, Heckman and Smith (1995) , Orr (1998) , మరియు @ గ్లెనెర్స్టెర్_ రన్నింగ్_2013 చూడండి.

• సాధారణ ప్రయోగాలు మించి (విభాగం 4.4)

నేను మూడు అంశాలు పై దృష్టి పెట్టాలని ఎంచుకున్నాను: ధృవీకరణ, చికిత్సా ప్రభావాల యొక్క భిన్నత్వం, మరియు యంత్రాంగం. ఈ భావనలు వివిధ రంగాల్లో వేర్వేరు పేర్లను కలిగి ఉన్నాయి. ఉదాహరణకు, మనస్తత్వవేత్తలు మధ్యవర్తులను మరియు మోడరేటర్లపై (Baron and Kenny 1986) దృష్టి పెడుతూ సాధారణ ప్రయోగాలు దాటి వెళ్ళేవారు . నేను మధ్యవర్తిత్వాలను పిలిచే మధ్యవర్తుల ఆలోచనను స్వాధీనం చేస్తారు, మోడరేటర్ల ఆలోచనను నేను బాహ్య ప్రామాణికత (ఉదా. వేర్వేరు పరిస్థితుల్లో అమలు చేస్తే ప్రయోగం ఫలితాలను భిన్నంగా ఉంటుంది) మరియు చికిత్స ప్రభావాల యొక్క భిన్నత్వం (అంటే, ఉదా, ఇతరుల కంటే కొందరు ప్రజలకు ఎక్కువ ప్రభావాలే).

Schultz et al. (2007) ప్రయోగం Schultz et al. (2007) సమర్థవంతమైన జోక్యాలను రూపొందించడానికి సామాజిక సిద్ధాంతాలను ఎలా ఉపయోగించాలో చూపిస్తుంది. సమర్థవంతమైన జోక్యాలను రూపొందించడంలో సిద్ధాంతం యొక్క పాత్ర గురించి మరింత సాధారణ వాదనకు, Walton (2014) .

• చెల్లుబాటు (విభాగం 4.4.1)

అంతర్గత మరియు బాహ్య ప్రామాణికత యొక్క భావనలు మొదట Campbell (1957) చేత పరిచయం చేయబడ్డాయి. మరింత వివరణాత్మక చరిత్ర మరియు గణాంక ముగింపు ప్రామాణికత, అంతర్గత ప్రామాణికత, నిర్మాణాత్మక ప్రమాణాలు మరియు బాహ్య ప్రామాణికత యొక్క మరింత విశదీకరణ కోసం Shadish, Cook, and Campbell (2001) .

ప్రయోగాల్లో గణాంక ముగింపు ప్రామాణికతకు సంబంధించి సమస్యల యొక్క అవలోకనం కోసం Gerber and Green (2012) (సోషల్ సైన్స్ కోణం నుండి) మరియు Imbens and Rubin (2015) (గణాంక దృష్టికోణం నుండి) చూడండి. ఆన్లైన్ క్షేత్ర ప్రయోగాల్లో ప్రత్యేకంగా ఉత్పన్నమయ్యే గణాంక తుది నిర్ణయం యొక్క కొన్ని సమస్యలు (Bakshy and Eckles 2013) సమర్థవంతమైన పద్ధతులు వంటి ఆధారపడిన డేటా (Bakshy and Eckles 2013) తో విశ్వసనీయ అంతరాలను సృష్టించడం వంటివి.

అంతర్గత ప్రామాణికత సంక్లిష్ట క్షేత్ర ప్రయోగాల్లో నిర్ధారించడానికి కష్టంగా ఉంటుంది. ఉదాహరణకి, Gerber and Green (2000) , Imai (2005) , మరియు Gerber and Green (2005) ఓటింగ్ గురించి సంక్లిష్ట క్షేత్ర ప్రయోగం గురించి చర్చకు చర్చ. Kohavi et al. (2012) మరియు Kohavi et al. (2013) ఆన్లైన్ రంగంలో ప్రయోగాలు విరామం ప్రామాణికత సవాళ్లను ఒక పరిచయం అందించడానికి.

అంతర్గత ప్రామాణికతకు ఒక ప్రధాన ప్రమాదం విఫలమైంది రాండమైజ్ అవకాశం ఉంది. యాదృచ్ఛికతతో సమస్యలను గుర్తించే ఒక సంభావ్య మార్గం పరిశీలన లక్షణాలపై చికిత్స మరియు నియంత్రణ సమూహాలను సరిపోల్చడం. ఈ రకమైన పోలికను సమతుల్య తనిఖీ అని పిలుస్తారు. సంతులన తనిఖీలు Mutz and Pemantle (2015) తనిఖీలు గురించి ఆందోళన కోసం Mutz and Pemantle (2015) గణాంకాల విధానానికి Hansen and Bowers (2008) చూడండి. ఉదాహరణకు, బ్యాలెన్స్ Allcott (2011) ఉపయోగించి, Allcott (2011) అపోలోజేషన్ ప్రయోగాలలో సరిగ్గా అమలు చేయబడలేదని కొన్ని ఆధారాలు ఉన్నాయి (పట్టిక 2; సైట్లు 2, 6 మరియు 8). ఇతర విధానాలకు, Imbens and Rubin (2015) యొక్క 21 వ అధ్యాయాన్ని చూడండి.

అంతర్గత ప్రామాణికతకు సంబంధించి ఇతర ముఖ్యమైన ఆందోళనలు: (1) చికిత్స చేయవలసిన బృందం లోని ప్రతి ఒక్కరికీ చికిత్స పొందకపోవటంతో (2) ఇద్దరు పక్షాల అసమర్థత, చికిత్స బృందంలోని ప్రతి ఒక్కరూ చికిత్స మరియు కొంతమందికి నియంత్రణ బృందం చికిత్సకు, (3) అట్రిషన్, అందులో కొంతమంది పాల్గొనేవారికి కొలుస్తారు, మరియు (4) జోక్యం, అక్కడ చికిత్స స్థితిలోని వ్యక్తులకు చికిత్స స్థితిలో ఉన్న ప్రజలకు చికిత్స చేయబడుతుంది. Gerber and Green (2012) యొక్క 5, 6, 7 మరియు 8 అధ్యాయాలు ఈ అంశాలపై ప్రతిదాని గురించి మరింత చూడండి.

Westen and Rosenthal (2003) , ఇంకా పెద్ద డేటా మూలాల నిర్మాణానికి, Lazer (2015) మరియు ఈ పుస్తకంలోని 2 వ అధ్యాయంలో మరిన్ని నిర్మాణానికి మరింత నిర్మాణానికి,

బాహ్య ప్రామాణికత యొక్క ఒక అంశం ఏమిటంటే, జోక్యాన్ని పరీక్షించడం జరుగుతుంది. Allcott (2015) సైట్ ఎంపిక బయాస్ యొక్క జాగ్రత్తగా సిద్దాంతపరమైన మరియు అనుభావిక చికిత్సను అందిస్తుంది. ఈ విషయం కూడా Deaton (2010) చేత చర్చించబడింది. అదే జోక్యం యొక్క ప్రత్యామ్నాయ కార్యాచరణలు ఇదే ప్రభావాలను కలిగి ఉన్నాయని బాహ్య ప్రామాణికత యొక్క మరొక అంశం. ఈ సందర్భంలో, Schultz et al. (2007) మధ్య పోలిక Schultz et al. (2007) మరియు Allcott (2011) చూపించాయి, అబ్జర్వర్ ప్రయోగాలు షుల్ట్జ్ మరియు సహచరులు (1.7% vs 5%) యొక్క అసలు ప్రయోగాలు కంటే తక్కువగా అంచనా వేసిన చికిత్స ప్రభావాన్ని కలిగి ఉన్నాయి. Allcott (2011) చికిత్సను వేర్వేరు పద్ధతుల్లో అనుసరించడం ద్వారా ప్రయోగాత్మక ప్రయోగాలు చిన్న ప్రభావాన్ని కలిగి ఉన్నాయని ఊహించారు: సామూహిక ఉత్పత్తిలో భాగంగా ప్రింటెడ్ ఎమోటికాన్ తో పోలిస్తే, ఒక విశ్వవిద్యాలయం స్పాన్సర్ చేసిన అధ్యయనంలో భాగంగా చేతితో రాసిన ఎమోటికాన్ ఒక శక్తి సంస్థ నుండి రిపోర్ట్.

• చికిత్సా ప్రభావాల వైవిధ్యత (విభాగం 4.4.2)

ఫీల్డ్ ప్రయోగాల్లో చికిత్స ప్రభావాల యొక్క వైవిధ్యమైన సమీక్ష కోసం, Gerber and Green (2012) యొక్క 12 వ అధ్యాయం చూడండి. వైద్య పరీక్షలలో చికిత్స ప్రభావాలను పరిచయం చేయడానికి, Kent and Hayward (2007) , Longford (1999) , మరియు Kravitz, Duan, and Braslow (2004) . చికిత్సాపరమైన ప్రభావాల యొక్క భిన్నత్వం యొక్క పరిగణనలు సాధారణంగా ప్రీ-ట్రీట్మెంట్ లక్షణాలు ఆధారంగా తేడాలు దృష్టి పెడుతుంది. మీరు చికిత్స తర్వాత ఫలితాల ఆధారంగా వైవిధ్యభరితమైన ఆసక్తి కలిగి ఉంటే, అప్పుడు మరింత క్లిష్టమైన విధానాలు అవసరమవుతాయి, ప్రధాన స్ట్రాటిఫికేషన్ (Frangakis and Rubin 2002) ; Page et al. (2015) చూడండి Page et al. (2015) సమీక్ష కోసం.

సరళ రిగ్రెషన్ను ఉపయోగించి చికిత్స ప్రభావాల యొక్క భిన్నత్వం అంచనా వేయడానికి చాలామంది పరిశోధకులు అంచనా వేశారు, అయితే కొత్త పద్ధతులు యంత్ర అభ్యాసంపై ఆధారపడతాయి; ఉదాహరణకి, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) .

బహుళ పోలిక సమస్యలు మరియు "చేపలు పట్టడం" కారణంగా ప్రభావాల యొక్క భిన్నత్వం యొక్క సంభావ్యత గురించి కొన్ని సంశయవాదం ఉంది. బహుళ పోలిక (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) సమస్యలకి సహాయపడే వివిధ రకాల గణాంక విధానాలు ఉన్నాయి. (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ఫిషింగ్" గురించి ఆందోళనలకు సంబంధించిన ఒక విధానం మానసిక శాస్త్రంలో (Nosek and Lakens 2014) , రాజకీయ శాస్త్రం (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , మరియు ఎకనామిక్స్ (Olken 2015) .

Costa and Kahn (2013) అధ్యయనం ప్రకారం ప్రయోగంలో గృహాల్లోని సగం మంది మాత్రమే జనాభా సమాచారాన్ని జతచేయగలరు. ఈ వివరాలపట్ల ఆసక్తి ఉన్న పాఠకులు అసలు కాగితాన్ని సూచించాలి.

• మెకానిజమ్స్ (విభాగం 4.4.3)

మెకానిజమ్స్ చాలా ముఖ్యమైనవి, కానీ వారు అధ్యయనం చేయడం చాలా కష్టం అవుతుంది. యంత్రాంగాల గురించి పరిశోధనలు మనస్తత్వ శాస్త్రంలో మధ్యవర్తుల అధ్యయనానికి దగ్గరి సంబంధం కలిగి ఉంటాయి (కానీ రెండు ఆలోచనల మధ్య ఖచ్చితమైన పోలిక కోసం VanderWeele (2009) కూడా చూడండి). Baron and Kenny (1986) లో అభివృద్ధి చేయబడిన విధానం వంటి గణాంక పద్ధతులు చాలా సాధారణం. దురదృష్టవశాత్తు, ఈ పద్ధతులు చాలా బలహీనతలను (Bullock, Green, and Ha 2010) మరియు చాలా సందర్భాలలో, అనేక సందర్భాల్లో (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) ఊహించిన దానిలో అనేక యంత్రాంగాలు ఉంటాయి. Imai et al. (2011) మరియు Imai and Yamamoto (2013) కొన్ని మెరుగైన గణాంక పద్ధతులను అందిస్తున్నాయి. ఇంకనూ, VanderWeele (2015) సున్నితత్వం విశ్లేషణకు ఒక సమగ్రమైన విధానంతో సహా అనేక ముఖ్యమైన ఫలితాలతో బుక్-పొడవు చికిత్సను అందిస్తుంది.

ఒక ప్రత్యేక విధానం నేరుగా యంత్రాంగం (ఉదాహరణకు, నావికులు విటమిన్ సి ఇవ్వడం) మానిప్యులేట్ ప్రయత్నం ప్రయోగాలు దృష్టి పెడుతుంది. దురదృష్టవశాత్తు, అనేక సాంఘిక విజ్ఞాన అమరికలలో, చాలా తరచుగా అనేక విధానాలు ఉన్నాయి మరియు ఇతరులను మార్చకుండా ఒకదాన్ని మార్చుకునే చికిత్సలను రూపొందించడం కష్టం. ప్రయోగాత్మకంగా సవరించే విధానాలకు కొన్ని విధానాలు Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , మరియు Pirlott and MacKinnon (2016) .

పూర్తిగా కారకమైన ప్రయోగాలను అమలు చేసే పరిశోధకులు బహుళ పరికల్పన పరీక్ష గురించి శ్రద్ధ వహించాలి; మరింత సమాచారం కోసం Fink, McConnell, and Vollmer (2014) మరియు List, Shaikh, and Xu (2016) చూడండి.

చివరగా, Hedström and Ylikoski (2010) వివరించిన విజ్ఞాన శాస్త్రంలో తత్వశాస్త్రం కూడా సుదీర్ఘ చరిత్రను కలిగి ఉంది.

• ఇప్పటికే ఉన్న ఎన్విరాన్మెంట్లను ఉపయోగించుట (విభాగము 4.5.1)

వివక్షతలను కొలవటానికి అనురూపత అధ్యయనాలు మరియు ఆడిట్ అధ్యయనాల వాడకం గురించి మరింత తెలుసుకోవడానికి, Pager (2007) .

• మీ సొంత ప్రయోగాన్ని (సెక్షన్ 4.5.2) నిర్మించండి

అమెజాన్ మెకానికల్ టర్క్ (MTurk) అనేది మీరు నిర్మించే ప్రయోగాల్లో పాల్గొనేవారిని నియమించేందుకు అత్యంత సాధారణ మార్గం. MTurk రకాలు సంప్రదాయ ప్రయోగశాల ప్రయోగాలు-చెల్లింపు ప్రజలు వారు చేయలేరని పనులను పూర్తి చేయడానికి, అనేక మంది పరిశోధకులు ఇప్పటికే ప్రయోగాత్మక పాల్గొనే టర్కర్లను (MTurk లో ఉన్న కార్మికులు) ఉపయోగించి ప్రారంభించారు, దీని ఫలితంగా వేగంగా మరియు చౌకైన డేటా సేకరణ సాధించవచ్చు సాంప్రదాయిక క్యాంపస్ ప్రయోగశాల ప్రయోగాలలో (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

సాధారణంగా, MTurk నుండి నియమించిన పాల్గొనే వాడకం యొక్క అతిపెద్ద ప్రయోజనాలు లాటిస్టిక్గా ఉంటాయి. ప్రయోగశాల ప్రయోగాలు అమలు చేయడానికి కొన్ని వారాలు పడుతుంది మరియు క్షేత్ర ప్రయోగాలు సెటప్ చేయడానికి నెలలు పట్టవచ్చు, MTurk నుండి నియమించిన పాల్గొనే రోజులు అమలు చేయవచ్చు. ఉదాహరణకు, Berinsky, Huber, and Lenz (2012) 8 నిమిషాల్లో ప్రయోగాలు చేయటానికి 400 రోజులు ఒకే రోజులో నియమించగలిగారు. అంతేకాక, ఈ పాల్గొనే దాదాపు ఏ ప్రయోజనం కోసం (సర్వేలు మరియు సామూహిక సహకారంతో సహా, అధ్యాయాలు 3 మరియు 5 లో చర్చించారు) కోసం నియమిస్తారు. నియామకం యొక్క ఈ సౌలభ్యం అంటే, పరిశోధకులు త్వరితగతిన సంబంధిత ప్రయోగాలు యొక్క సన్నివేశాలను అమలు చేయగలరు.

MTurk నుండి మీ సొంత ప్రయోగాలు కోసం పాల్గొనేవారిని నియమించడానికి ముందు, మీరు తెలుసుకోవలసిన నాలుగు ముఖ్యమైన విషయాలు ఉన్నాయి. మొదట, చాలామంది పరిశోధకులు టర్కర్ల ప్రమేయాల యొక్క నిస్సంబంధమైన సంశయవాదం ఉంది. ఈ సంశయవాదం ప్రత్యేకమైనది కానందున, సాక్ష్యాలను ఎదుర్కోవటానికి చాలా కష్టం. అయితే, టర్కర్లను ఉపయోగించిన అనేక సంవత్సరాల అధ్యయనం తర్వాత, ఈ సంశయవాదం ప్రత్యేకంగా సమర్థించబడదని మేము ఇప్పుడు నిర్ధారించవచ్చు. తుర్క్ల యొక్క ఇతర జనాభాతో పోల్చబడిన అనేక అధ్యయనాలు మరియు ఇతర జనాభా నుండి వచ్చిన టర్కర్లతో ప్రయోగాలు చేసిన ఫలితాలను పోల్చే అనేక అధ్యయనాలు ఉన్నాయి. ఈ పనులన్నింటికీ, మీరు దాని గురించి ఆలోచించటానికి ఉత్తమ మార్గం, టర్కర్స్ ఒక సహేతుకమైన సౌలభ్యం నమూనాగా ఉంటారు, చాలా మంది విద్యార్థుల మాదిరిగానే కానీ చాలా విభిన్నమైనది (Berinsky, Huber, and Lenz 2012) . అందువలన, విద్యార్థులు కొంతమందికి ఒక సహేతుకమైన జనాభాగా ఉన్నారు, అయితే అన్నింటిలోనూ పరిశోధన, టర్కర్లు కొంతమందికి ఒక సహేతుకమైన జనాభా, కానీ అన్నింటికి పరిశోధన కాదు. మీరు టర్కర్లతో పని చేస్తుంటే, ఈ తులనాత్మక అధ్యయనాల్లో చాలా చదివి, వారి నైపుణ్యాలను అర్థం చేసుకునేందుకు ఇది అర్ధమే.

రెండవది, MTurk ప్రయోగాలు యొక్క అంతర్గత ప్రామాణికతను పెంచడానికి పరిశోధకులు ఉత్తమ అభ్యాసాలను అభివృద్ధి చేశారు మరియు మీరు ఈ ఉత్తమ పద్ధతులను (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) గురించి తెలుసుకోవడానికి మరియు అనుసరించాలి. ఉదాహరణకు, టర్కర్లను ఉపయోగించిన పరిశోధకులు ప్రయోగాత్మక పాల్గొనేవారిని (Berinsky, Margolis, and Sances 2014, 2016) తొలగించడానికి స్క్రీన్సేర్లను ఉపయోగించమని ప్రోత్సహించారు (కాని DJ Hauser and Schwarz (2015b) మరియు DJ Hauser and Schwarz (2015a) ) కూడా చూడండి. మీరు ప్రగతిశీల పాల్గొనేవారిని తీసివేయకపోతే, చికిత్స యొక్క ఏవైనా ప్రభావం వారు ప్రవేశపెట్టిన శబ్దంతో కడుగుతుంది మరియు ఆచరణలో పాల్గొనేవారి సంఖ్య గణనీయంగా ఉంటుంది. హుబెర్ మరియు సహచరులు ప్రయోగంలో (2012) , పాల్గొన్నవారిలో సుమారు 30% ప్రాథమిక శ్రద్ధ స్క్రీన్లను విఫలమయ్యారు. టర్కర్లను ఉపయోగించినప్పుడు సాధారణంగా తలెత్తే ఇతర సమస్యలు నాన్-అమాయక పాల్గొనేవారు (Chandler et al. 2015) మరియు ఘర్షణ (Zhou and Fishbach 2016) .

మూడవది, డిజిటల్ ప్రయోగాలు యొక్క ఇతర రూపాలకు సంబంధించి, MTurk ప్రయోగాలు స్కేల్ కాలేదు; Stewart et al. (2015) ఏ సమయంలోనైనా MTurk లో కేవలం 7,000 మంది మాత్రమే ఉన్నారు.

చివరగా, MTurk తన స్వంత నియమాలు మరియు నిబంధనలతో (Mason and Suri 2012) ఒక కమ్యూనిటీ అని మీరు తెలుసుకోవాలి. మీరు మీ ప్రయోగాలు అమలు చేయబోతున్న దేశ సంస్కృతి గురించి తెలుసుకోవడానికి ప్రయత్నించే విధంగా, టర్కర్ల సంస్కృతి మరియు నియమాల గురించి మరింత తెలుసుకోవడానికి మీరు ప్రయత్నించాలి (Salehi et al. 2015) సాలేషి (Salehi et al. 2015) . మరియు మీరు తగని తగని లేదా అనైతికమైనవి (Gray et al. 2016) చేస్తే మీ ప్రయోగాన్ని గురించి టర్కీలు మాట్లాడుతున్నారని మీకు తెలుసు.

Huber, Hill, and Lenz (2012) లేదా Mason and Watts (2009) లాంటి Huber, Hill, and Lenz (2012) వంటి లాబ్ లాంటివి మీ ప్రయోగాల్లో పాల్గొనేవారిని నియమించడానికి చాలా సౌకర్యవంతమైన మార్గం MTurk. , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , మరియు Mao et al. (2016) .

• మీ సొంత ఉత్పత్తి (విభాగం 4.5.3) బిల్డ్

మీరు మీ సొంత ఉత్పత్తిని సృష్టించడానికి ప్రయత్నిస్తున్నట్లు ఆలోచిస్తే, మీరు Harper and Konstan (2015) లోని మూవీ లైన్స్ గ్రూప్ అందించే సలహాను చదవాలని నేను సిఫార్సు చేస్తున్నాను. ప్రతి విజయవంతమైన ప్రాజెక్ట్ కోసం అనేక, అనేక వైఫల్యాలు ఉన్నాయి వారి అనుభవం నుండి ఒక కీలక అంతర్దృష్టి. ఉదాహరణకు, మూవీలైన్స్ గ్రూప్ గోఫెర్అన్స్వేర్స్ వంటి ఇతర ఉత్పత్తులను ప్రారంభించింది, అవి పూర్తి వైఫల్యాలు (Harper and Konstan 2015) . ఆర్డన్ అని పిలిచే ఒక ఆన్లైన్ గేమ్ను నిర్మించటానికి ఎడ్వర్డ్ కాస్ట్రోనోవా చేసిన ప్రయత్నం ఒక ఉత్పత్తిని తయారు చేయటానికి ప్రయత్నిస్తున్నప్పుడు ఒక పరిశోధకుడు విఫలమయ్యే మరొక ఉదాహరణ. నిధులు $ 250,000 ఉన్నప్పటికీ, ఈ ప్రాజెక్ట్ ఒక ఫ్లాప్ (Baker 2008) . గోపెర్అన్నేర్స్ మరియు ఆర్డెన్ వంటి ప్రాజెక్ట్లు మూవీ లైన్స్ వంటి ప్రాజెక్టుల కంటే దురదృష్టవశాత్తు చాలా సాధారణమైనవి.

• శక్తివంతమైన (పార్ట్ 4.5.4) తో భాగస్వామి

నేను పాశ్చర్ యొక్క క్వాడ్రంట్ గురించి తరచుగా టెక్ కంపెనీల వద్ద చర్చించాను, మరియు గూగుల్ (Spector, Norvig, and Petrov 2012) పరిశోధనల ప్రయత్నాలను నిర్వహించటానికి సహాయపడుతుంది.

బాండ్ మరియు సహోద్యోగుల అధ్యయనం (2012) కూడా వాటిని స్వీకరించినవారి స్నేహితుల మీద ఈ చికిత్సలను ప్రభావితం చేయటానికి ప్రయత్నిస్తుంది. ప్రయోగం యొక్క రూపకల్పన కారణంగా, ఈ స్పిల్ఓవర్ లు సరిగ్గా గుర్తించటం చాలా కష్టం; ఆసక్తిగల పాఠకులు Bond et al. (2012) ఇతరులను చూడాలి Bond et al. (2012) మరింత సంపూర్ణ చర్చ కోసం. జోన్స్ మరియు సహచరులు (2017) కూడా 2012 ఎన్నికల సమయంలో ఇదే ప్రయోగాన్ని నిర్వహించారు. ఈ ప్రయోగాలు ఓటింగ్ను ప్రోత్సహించే ప్రయత్నాలపై రాజకీయ శాస్త్రంలో సుదీర్ఘ సంప్రదాయంలో భాగంగా ఉన్నాయి (Green and Gerber 2015) . ఈ గెట్-అవుట్-ఓట్ ప్రయోగాలు సాధారణమైనవి, ఎందుకంటే పాశ్చర్ యొక్క క్వాడ్రంట్లో ఇవి ఉన్నాయి. అంటే, ఓటు పెంచడానికి ప్రేరేపించబడిన పలువురు వ్యక్తులు మరియు ఓటింగ్ ప్రవర్తన మార్పు మరియు సామాజిక ప్రభావం గురించి మరింత సాధారణ సిద్ధాంతాలను పరీక్షించడానికి ఒక ఆసక్తికరమైన ప్రవర్తన.

రాజకీయ పార్టీలు, ఎన్జిఓలు మరియు వ్యాపారాల వంటి భాగస్వామ్య సంస్థలతో క్షేత్ర ప్రయోగాలు నిర్వహించడం గురించి సలహా కోసం, Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , మరియు Gueron (2002) . సంస్థలతో భాగస్వామ్యాలు పరిశోధన రూపకల్పనలపై ఎలా ప్రభావం చూపుతాయనే విషయాల కోసం, King et al. (2007) చూడండి King et al. (2007) మరియు Green, Calfano, and Aronow (2014) . Humphreys (2015) మరియు Nickerson and Hyde (2016) చేత చర్చించబడుతుండటంతో భాగస్వామ్యం కూడా నైతిక ప్రశ్నలకు దారితీస్తుంది.

• డిజైన్ సలహా (సెక్షన్ 4.6)

మీ ప్రయోగాన్ని అమలు చేయడానికి ముందు మీరు విశ్లేషణ పథకాన్ని రూపొందిస్తున్నట్లయితే, మార్గదర్శకాలను నివేదించడం ద్వారా మీరు ప్రారంభించాలని నేను సూచిస్తున్నాను. ఔషధం (Schulz et al. 2010) లో కన్సర్ట్ (ట్రస్టీల కన్సాలిడేటెడ్ స్టాండర్డ్ రిపోర్టింగ్) మార్గదర్శకాలను అభివృద్ధి చేశారు (Schulz et al. 2010) సోషల్ రీసెర్చ్ (Mayo-Wilson et al. 2013) కోసం సవరించబడింది. జర్నల్ ఆఫ్ ఎక్స్పెరిమెంటల్ పొలిటికల్ సైన్స్ (Gerber et al. 2014) యొక్క సంపాదకులు అభివృద్ధి చేసిన మార్గదర్శకాలను అభివృద్ధి చేశారు (Gerber et al. 2014) ( Mutz and Pemantle (2015) మరియు Gerber et al. (2015) Mutz and Pemantle (2015) కూడా చూడండి. చివరగా, రిపోర్టింగ్ మార్గదర్శకాలను మనస్తత్వశాస్త్రం (APA Working Group 2008) లో అభివృద్ధి చేశారు మరియు Simmons, Nelson, and Simonsohn (2011) .

మీరు విశ్లేషణ పథకాన్ని రూపొందిస్తే, ముందుగా నమోదు చేసుకోవాలి ఎందుకంటే ఇతరులు మీ ఫలితాల్లో విశ్వాసాన్ని పెంపొందించుకోవచ్చు. ఇంకా, మీరు భాగస్వామితో పని చేస్తున్నట్లయితే, ఫలితాలను చూసిన తర్వాత విశ్లేషనాన్ని మార్చడానికి మీ భాగస్వామి సామర్థ్యాన్ని పరిమితం చేస్తుంది. ముందుగా నమోదు అనేది మనస్తత్వశాస్త్రం (Nosek and Lakens 2014) , రాజకీయ శాస్త్రం (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) మరియు ఆర్థిక శాస్త్రం (Olken 2015) .

ఆన్లైన్ రంగంలో ప్రయోగాలకు ప్రత్యేకంగా డిజైన్ సలహా కూడా Konstan and Chen (2007) మరియు Chen and Konstan (2015) .

నేను ఆమ్మాడ వ్యూహాన్ని పిలిచిన దానిని కొన్నిసార్లు ప్రోగ్రామటిక్ పరిశోధన అని పిలుస్తారు; Wilson, Aronson, and Carlsmith (2010) .

• సున్నా వేరియబుల్ వ్యయ డేటా సృష్టించు (సెక్షన్ 4.6.1)

Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) మరియు Salganik (2007) . విన్నింగ్-టేక్-అన్ని మార్కెట్లలో మరిన్ని, Frank and Cook (1996) . మరింత అదృష్టము మరియు నైపుణ్యం ఎక్కువగా ఉండటానికి, Mauboussin (2012) , Watts (2012) , మరియు Frank (2016) .

పరిశీలకులు హెచ్చరికతో ఉపయోగించుకునే పాల్గొనే చెల్లింపులను తొలగించడానికి మరొక పద్ధతి ఉంది: నిర్బంధ సైనిక శిక్షణ. అనేక ఆన్లైన్ రంగంలో ప్రయోగాలు పాల్గొనే ప్రాథమికంగా ప్రయోగాలు లోకి ముసాయిదా మరియు పరిహారం ఎప్పుడూ. వికీపీడియా మరియు బాండ్ మరియు సహోద్యోగుల (2012) ప్రయోగాత్మక వ్యక్తులకు ఓటు వేయమని ప్రోత్సహించేటప్పుడు రిట్వియో మరియు వాన్ డి రిజెట్ యొక్క (2012) ప్రయోగం ఈ విధానానికి ఉదాహరణలు. ఈ ప్రయోగాలు నిజంగా సున్నా వేరియబుల్ ఖర్చు లేదు , అవి పరిశోధకులకు సున్నా వేరియబుల్ వ్యయం కలిగి ఉంటాయి. ఇటువంటి ప్రయోగాల్లో, ప్రతి పాల్గొనే ఖర్చు చాలా తక్కువగా ఉంటే, మొత్తం వ్యయం చాలా పెద్దదిగా ఉంటుంది. చాలామంది ప్రజలకు వర్తించినప్పుడు ఈ చిన్న ప్రభావాలు ముఖ్యమైనవి కావచ్చని చెప్పడం ద్వారా భారీ ఆన్లైన్ ప్రయోగాలు నిర్వహించిన పరిశోధకులు తరచూ చిన్న అంచనా చికిత్స ప్రభావాల ప్రాముఖ్యతను సమర్థిస్తారు. పరిశోధకులు పాల్గొనేవారిపై విధించే ఖర్చులకు ఖచ్చితమైన ఆలోచనలు వర్తిస్తాయి. మీ ప్రయోగాలు ఒక నిమిషం వృథా చేయటానికి ఒక మిలియన్ మంది కారణమౌతే, ఆ ప్రయోగాన్ని ఏ వ్యక్తికి కూడా చాలా హానికరం కాదు, కానీ మొత్తం సంవత్సరానికి దాదాపు రెండు సంవత్సరాలు వృధా అయింది.

పాల్గొనేవారికి సున్నా వేరియబుల్ ధర చెల్లింపును రూపొందించడానికి మరో పద్ధతి లాటరీని ఉపయోగించడం, ఇది కూడా ఒక సర్వే పరిశోధనలో ఉపయోగించబడింది (Halpern et al. 2011) . ఆనందించే యూజర్ అనుభవాలు రూపకల్పన గురించి మరింత సమాచారం కోసం, Toomim et al. (2011) . సున్నా వేరియబుల్ వ్యయ ప్రయోగాలను సృష్టించేందుకు బాట్లను ఉపయోగించడం గురించి మరింత తెలుసుకోవడానికి ( ??? ) చూడండి.

• పునఃస్థాపించు, శుద్ధి చేయండి మరియు తగ్గించండి (విభాగం 4.6.2)

మొదట Russell and Burch (1959) ప్రతిపాదించిన మూడు R లు:

"భర్తీ జడమైన పదార్థం యొక్క చేతన జీవన ఉన్నత జంతువులు ప్రతిక్షేపణ అర్థం. తగ్గింపు ఇచ్చిన మొత్తాన్ని మరియు ఖచ్చితత్వము యొక్క సమాచారం పొందటానికి జంతువుల సంఖ్యలో తగ్గింపు అర్థం. శుద్ధీకరణ సంభవం లేదా ఇప్పటికీ ఉపయోగిస్తారు కలిగి ఉన్న జంతువులకు దరఖాస్తు అమానవీయంగా విధానాలు తీవ్రతలో ఏ తగ్గుదల అర్థం. "

నేను 3 వ అధ్యాయాన్ని అధ్యాయంలో వివరించిన నైతిక సూత్రాలను అధిగమించకూడదని ప్రతిపాదించాను. బదులుగా, వారు మరింత విస్తృతమైన సంస్కరణలు-ప్రయోజనం-ముఖ్యంగా మానవ ప్రయోగాల అమరికలో ఒకటి.

భావోద్వేగ అంటువ్యాధి ప్రయోగం (Kramer, Guillory, and Hancock 2014) మరియు భావోద్వేగ సంక్రమణ సహజ ప్రయోగం (Lorenzo Coviello et al. 2014) పోల్చితే మొదటి R ("భర్తీ") పరంగా, ప్రయోగాలు నుండి సహజ ప్రయోగాలు (మరియు ప్రయోగాత్మక డేటాలో దాదాపుగా ప్రయోగాలు చేసే ప్రయత్నానికి సరిపోయేలాంటి ఇతర విధానాలకు తరలించడం, అధ్యాయం 2 చూడండి). నైతిక ప్రయోజనాలకు అదనంగా, ప్రయోగాత్మక కాని ప్రయోగాత్మక అధ్యయనాలు నుండి మారడం కూడా పరిశోధకులు వాటిని లాటిస్టికల్గా అమలు చేయడానికి వీలులేని చికిత్సలను అధ్యయనం చేయడానికి వీలు కల్పిస్తుంది. అయితే ఈ నైతిక మరియు రవాణా ప్రయోజనాలు ఖర్చుతో వస్తాయి. సహజ ప్రయోగాలు కలిగిన పరిశోధకులు పాల్గొనేవారి నియామకం, యాదృచ్ఛికత మరియు చికిత్స యొక్క స్వభావం వంటి వాటిపై తక్కువ నియంత్రణను కలిగి ఉన్నారు. ఉదాహరణకు, ఒక చికిత్సగా వర్షపాతం యొక్క ఒక పరిమితి ఇది రెండు సానుకూలతను పెంచుతుంది మరియు ప్రతికూలతను తగ్గిస్తుంది. ప్రయోగాత్మక అధ్యయనంలో, అయితే, గ్రామర్ మరియు సహచరులు స్వతంత్రంగా అనుకూలత మరియు ప్రతికూలతను సర్దుబాటు చేయగలిగారు. Lorenzo Coviello et al. (2014) ఉపయోగించే ప్రత్యేక విధానం Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) మరింత వివరంగా వివరించారు. వాయిద్య వేరియబుల్స్కి పరిచయానికి, ఇది Lorenzo Coviello et al. (2014) ఉపయోగించిన విధానం Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (తక్కువ ఫార్మల్) లేదా Angrist, Imbens, and Rubin (1996) (మరింత అధికారికమైనది) చూడండి. ఇన్స్ట్రుమెంటల్ వేరియబుల్స్ యొక్క అనుమానాస్పద అంచనాల కోసం, Deaton (2010) మరియు బలహీన సాధనలతో వాయిద్యం వేరియబుల్స్ (వర్షం బలహీనమైన వాయిద్యం) కు పరిచయం, చూడండి Murray (2006) . సహజంగానే ప్రయోగాలు చేయకుండా సహజ ప్రభావాలను అంచనా వేయడం గురించి Dunning (2012) , Rosenbaum (2002) , ( ??? ) , మరియు Shadish, Cook, and Campbell (2001) మంచి అభిప్రాయాలను Shadish, Cook, and Campbell (2001) .

రెండవ R ("శుద్ధీకరణ") పరంగా, ఎమోషనల్ కాంటగియన్ యొక్క రూపకల్పనను పోస్ట్లను పెంచడానికి పోస్ట్లను నిరోధించడం నుండి వైజ్ఞానిక మరియు లాజిస్టికల్ ట్రేడింగ్ ఆఫ్స్ ఉన్నాయి. ఉదాహరణకు, న్యూస్ ఫీడ్ యొక్క సాంకేతిక పరిజ్ఞానం అనేది ఒక ప్రయోగాన్ని చేయటానికి గణనీయంగా సులభం చేస్తుంది, ఎందుకంటే పోస్ట్స్ ని అడ్డుకోవడంపై ప్రయోగాత్మక ప్రయోగాన్ని అమలుపరచడం కంటే పోస్ట్స్ ని బ్లాక్ చేస్తారు. అంతర్లీన వ్యవస్థ యొక్క మార్పుల అవసరం లేకుండా న్యూస్ ఫీడ్ వ్యవస్థ పైన పొరగా). శాస్త్రీయంగా, అయితే, ఈ ప్రయోగం ద్వారా ప్రస్తావించబడిన సిద్ధాంతం స్పష్టంగా మరొకదానిపై ఒక నమూనాను సూచించలేదు. దురదృష్టవశాత్తు, వార్తల ఫీడ్లో కంటెంట్ని నిరోధించడం మరియు పెంచడం యొక్క సాపేక్ష మెటీట్ల గురించి గణనీయమైన పూర్వ పరిశోధన గురించి నాకు తెలియదు. అలాగే, నేను వాటిని తక్కువ హానికరమైన చేయడానికి చికిత్సలు రిఫైనింగ్ గురించి చాలా పరిశోధన చూడలేదు; ఇంటర్నెట్ సెన్సార్షిప్ యొక్క కొలత విషయంలో ఇది పరిగణనలోకి B. Jones and Feamster (2015) అనే ఒక మినహాయింపు ఉంది B. Jones and Feamster (2015) ఎంకోర్ స్టడీ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) కు సంబంధించి నేను అధ్యాయంలో 6 వ అధ్యాయంలో చర్చించనుంది.

మూడవ R ("తగ్గింపు") ప్రకారం సాంప్రదాయిక శక్తి విశ్లేషణకు మంచి పరిచయాలు Cohen (1988) (పుస్తకం) మరియు Cohen (1992) (వ్యాసం) ఇవ్వబడ్డాయి, అయితే Gelman and Carlin (2014) కొంచెం భిన్న దృక్పధాన్ని అందిస్తున్నాయి. ప్రయోగాత్మక రూపకల్పన మరియు విశ్లేషణ దశలో ప్రీ-ట్రీట్ కోరరియాట్లు చేర్చవచ్చు; Gerber and Green (2012) యొక్క 4 వ అధ్యాయం రెండు విధానాలకు మంచి పరిచయాన్ని అందిస్తుంది, మరియు Casella (2008) మరింత లోతైన చికిత్సను అందిస్తుంది. రాండమైజేషన్లో ఈ ముందస్తు చికిత్స సమాచారాన్ని ఉపయోగించే పద్ధతులు సాధారణంగా ప్రయోగాత్మక ప్రయోగాత్మక నమూనాలు లేదా స్ట్రాటిఫైడ్ ప్రయోగాత్మక నమూనాలుగా పిలువబడతాయి (పదజాలం సమాజాలలో స్థిరంగా ఉపయోగించబడదు); ఈ పద్ధతులు అధ్యాయం 3 లో చర్చించిన స్ట్రాటిఫైడ్ మాప్లింగ్ పద్ధతులకు దగ్గరి సంబంధం కలిగి ఉన్నాయి. భారీ ప్రయోగాలలో ఈ నమూనాలను ఉపయోగించడం కోసం మరిన్ని Higgins, Sävje, and Sekhon (2016) . విశ్లేషణ దశలో ప్రీ-ట్రీట్ కోవరేట్స్ను కూడా చేర్చవచ్చు. McKenzie (2012) ఎక్కువ వివరాలలో ఫీల్డ్ ప్రయోగాలను విశ్లేషించడం కోసం వ్యత్యాస-వైవిధ్య విధానాన్ని విశ్లేషిస్తుంది. చికిత్స ప్రభావాలను అంచనా వేయడంలో ఖచ్చితత్వాన్ని పెంచడానికి వేర్వేరు విధానాల మధ్య వాణిజ్యంపై మరిన్ని Carneiro, Lee, and Wilhelm (2016) . చివరగా, డిజైన్ లేదా విశ్లేషణ దశలో (లేదా రెండింటిలో) ముందస్తు చికిత్స కోర్విట్రేట్లు చేర్చాలా వద్దా అనే విషయంలో నిర్ణయం తీసుకోవటానికి కొన్ని అంశాలు ఉన్నాయి. (Humphreys, Sierra, and Windt 2013) వారు "ఫిషింగ్" (Humphreys, Sierra, and Windt 2013) , డిజైన్ దశలో ప్రీ-ట్రీట్ (Humphreys, Sierra, and Windt 2013) ఉపయోగించి సహాయపడగల ఒక (Higgins, Sävje, and Sekhon 2016) . పాల్గొనేవారు వరుసక్రమంలో వచ్చిన సందర్భాలలో, ప్రత్యేకంగా ఆన్లైన్ క్షేత్ర ప్రయోగాలు, డిజైన్ దశలో ముందస్తు చికిత్స సమాచారాన్ని ఉపయోగించి కష్టమైన తర్కబద్ధంగా ఉండవచ్చు; ఉదాహరణకు, Xie and Aurisset (2016) .

వ్యత్యాసాల వైవిధ్యత కంటే వ్యత్యాసం-వైవిధ్య విధానం మరింత ప్రభావవంతంగా ఎందుకు ఉండాలనే దాని గురించి అంతర్దృష్టిని జోడించడం విలువ. చాలా ఆన్లైన్ ఫలితాలకు చాలా ఎక్కువ తేడాలు ఉన్నాయి (ఉదా. RA Lewis and Rao (2015) మరియు Lamb et al. (2015) ) మరియు సమయానుసారంగా స్థిరంగా ఉన్నాయి. ఈ సందర్భంలో, మార్పు గణన గణనీయంగా చిన్న తేడాను కలిగి ఉంటుంది, గణాంక పరీక్ష యొక్క శక్తి పెరుగుతుంది. ఈ విధానం తరచుగా ఉపయోగించబడని కారణంగా డిజిటల్ యుగానికి ముందు, ముందు చికిత్స ఫలితాలను కలిగి ఉండటం సాధారణమైనది కాదు. దీని గురించి ఆలోచించటానికి మరింత ఖచ్చితమైన మార్గం ఏమిటంటే ఒక ప్రత్యేకమైన వ్యాయామం బరువు తగ్గడానికి కారణమా అని అంచనా వేయడానికి ఒక ప్రయోగాన్ని ఊహించుకోవాలి. మీరు వ్యత్యాసాల విధానాన్ని అనుసరించినట్లయితే, మీ అంచనాలో జనాభాలో బరువులు వేరియబుల్స్ నుంచి ఉత్పన్నమయ్యే వైవిధ్యత ఉంటుంది. మీరు వ్యత్యాసాల వైవిధ్య విధానాన్ని చేస్తే, సహజంగా సంభవించే బరువులు వైవిధ్యాలు తొలగించబడతాయి మరియు చికిత్స ద్వారా కలిగే వ్యత్యాసాన్ని మరింత సులభంగా గుర్తించవచ్చు.

అంతిమంగా, నాల్గవ R ను జోడించాలని నేను భావించాను: "పునరావృతం". పరిశోధకులు తమ అసలు పరిశోధనా ప్రశ్నని అడగడం కంటే మరింత ప్రయోగాత్మక డేటాతో తమను కనుగొంటే, వారు కొత్త ప్రశ్నలను అడగడానికి డేటాను పునఃపరిశీలించాలి. ఉదాహరణకు, క్రామెర్ మరియు సహచరులు వ్యత్యాసం-వ్యత్యాస నిష్పత్తిని ఉపయోగించారని ఊహించి, తమ పరిశోధనా ప్రశ్నకు సమాధానమివ్వటానికి అవసరమైన దానికన్నా ఎక్కువ డేటాను కనుగొన్నారు. డేటాను పూర్తిస్థాయిలో ఉపయోగించకుండా కాకుండా, ముందు ప్రభావం భావోద్వేగ వ్యక్తీకరణ యొక్క చర్యగా వారు ప్రభావం యొక్క పరిమాణాన్ని అధ్యయనం చేసారు. కేవలం Schultz et al. (2007) చికిత్స యొక్క ప్రభావం కాంతి మరియు భారీ వాడుకదారులకు భిన్నంగా ఉందని కనుగొన్నారు, బహుశా ఇప్పటికే సంతోషంగా (లేదా విచారంగా) సందేశాలను పోస్ట్ చేసే వ్యక్తుల కోసం న్యూస్ ఫీడ్ యొక్క ప్రభావాలు భిన్నంగా ఉంటాయి. (Humphreys, Sierra, and Windt 2013) "ఫిషింగ్" (Humphreys, Sierra, and Windt 2013) మరియు "p- హ్యాకింగ్" (Simmons, Nelson, and Simonsohn 2011) , కానీ ఇవి నిజాయితీగా రిపోర్టింగ్ (Simmons, Nelson, and Simonsohn 2011) , ప్రీ-రిజిస్ట్రేషన్ (Humphreys, Sierra, and Windt 2013) , మరియు మెషీన్ లెర్నింగ్ పద్దతులు, అధిక- (Humphreys, Sierra, and Windt 2013) ఉండటానికి ప్రయత్నిస్తాయి.