Pirsgirêkên lihevhatinê di lêkolîna sosyalî de gelek caran bi tevlihev û zelal in. Ji bo nêzîkatiyên bingehîn yên bingehîn, li Pearl (2009) , û nêzîkbûna encamên bingehîn ên bingehîn ên bingehîn, li Imbens and Rubin (2015) . Ji bo hevpeymaniya van her du rêbazan, Morgan and Winship (2014) . Ji bo nêzîkbûna nerazîbûna fermî, VanderWeele and Shpitser (2013) .
Di vê beşê de, min çêkiriye ku di nav devera xwe ya ku ji hêla daneyên tecrûbeyê û ne-ceribandinê ve tête çêbikin, di nav xuyekek ronahî de. Lêbelê, ez difikirim, rastiyê, cudahiyê bêtir xelet e. Ji bo nimûne, her kesî qebûl dike ku çixar dikir dibe sedema kanserê, her çiqas tecrûbeya kontrola kontrolkirî ye ku mirovên ku ji bo dûmana germ hatiye kirin. Ji bo dermanên pirtûka pirtirkêmtirîn hejmarên ji sedemên astengî yên ji ber daneyên ne- Shadish, Cook, and Campbell (2001) dîtin Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) û Dunning (2012) .
Zebûr 1 û 2 ya Freedman, Pisani, and Purves (2007) pêşniyarkirina Freedman, Pisani, and Purves (2007) di navbera ezmûnan, ceribandinên kontrolkirî û ceribandinên kontrolkirî yên randomîstan pêşkêş dikin.
Manzi (2012) ji bo destpêkirina tecrûbeyên kontrolkirî yên random random randomên felseolojîk û statîstîkek balkêş û xwendevanek pêşkêş dike. Ew jî nimûneyên rastîn ên cîhanê yên hêza karanîna karsaziyê jî pêşkêş dike. Issenberg (2012) ji bo destpêkirina kampanyayên sîyasetek danûstendineke balkêş e.
Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, û Athey and Imbens (2016b) bi nasnameyên statîstîkên dîzan û analîzên ezmûnan pêşkêş dikin. Wekî din, li dermanên tecrûbeyên mezin ên tecrûbeyên li ser gelek cihan hene: aborî (Bardsley et al. 2009) , sosolojiya (Willer and Walker 2007; Jackson and Cox 2013) , psîkolojiya (Aronson et al. 1989) , zanistek siyasî (Morton and Williams 2010) , polîtîkaya civakî (Glennerster and Takavarasha 2013) .
Girîngiya tevlêbûna tevlêbûna tevlêbûna (wek nimûne, nimûne) gelek lêkolînek di lêkolînê de ezmûn e. Lêbelê, heke bandora nerazîbûnê di gelan de heterogeneous e, hingê nimûne rexne ye. Longford (1999) ev xuya dike dema ku ew ji bo lêkolînvanan difikirin ku ezmûnên wekî lêkolînek nifşek bi tevlîhevkirina tehlazê dipirse.
Ez pêşniyar jî ku berdewamiyê di navbera lab û warê Ceribandinên li wê derê, û yên din, lêkolînerên cudakirin bêtir bi kitkit pêşniyar kiriye, li yên taybetî ku formên cuda yên tecrûbeyên warê cuda cuda (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .
Gelek kaxezan di binpêkirinê de (Falk and Heckman 2009; Cialdini 2009) û encamên encamên taybetî yên di zanistiya siyasî (Coppock and Green 2015) , aborî (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , û psîkolojî (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) pirtûkek lêkolînek baş pêşkêş dikin ku ji bo encamên ji lab û erdên ezmûnên bihevberî. Parigi, Santana, and Cook (2017) diyar dike ku ezmûnên çiqas ezmûn dikarin hin taybetmendiyên labîn û ceribandinên hevpeymanan pêk bînim.
Têkiliyên di derbarê beşdaran de guhartina xwe biguherînin, çimkî ew dizanin ku ew nêzîk bûne têne gotin, carinan bandorên daxwazî digotin, û ew di psîkolojiya (Orne 1962) û aborî (Zizzo 2010) . Tevî piranîya bi ezmûnên labî re girêdayî ye, ev pirsgirêk dikarin ji bo ezmûnên zeviyê jî pirsgirêk dibe. Di rastiyê de, bandorên daxwazî jî carinan jî bandorên Hawthorne jî tê gotin, dema ku ezmûnên fîlmên navdar ên ku di 1924'an de li Hawthorne Karkerên Elektronîkî (Adair 1984; Levitt and List 2011) . Pêwîstiyên herdu bandor û bandorên Hawthorne bi nêzîkî fikrîteya mimkinî ya reaktîfê re di beşa duyemîn de gotûbêj kirin (( Webb et al. (1966) ) bibînin.
Vebijêrkên qada dîroka aborî (Levitt and List 2009) dîroka (Levitt and List 2009) , zanistiya siyasî (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psîkolojiya (Shadish 2002) , û siyaseta giştî (Shadish and Cook 2009) . Yek ji yekem zanistiya sosyalê ku derfetên zeviyên zûtir zû bûye pêşveçûna navneteweyî ye. Ji bo nirxandineke erênî di karûbarên erênî de Banerjee and Duflo (2009) binirxînin, û ji bo binirxandina rexne de Deaton (2010) . Ji bo lêkolînkirina vê xebatê di zanistiya siyasî de Humphreys and Weinstein (2009) . Di dawiyê de, zehmetên etîkî yên ku ji ezmûnên zeviyê têne çêkirin, di çarçoveya zanistiya siyasî (Humphreys 2015; Desposato 2016b) û aboriya pêşveçûn (Baele 2013) .
Di vê beşê de, min pêşniyaz kir ku agahdariya pêşî dermankirinê bikar anîn ku ji bo bandorên tedawî yên nirxandina tedawî çêbibin, lê li ser vê nêzîk nîqaş heye. Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , û Bloniarz et al. (2016) ji bo agahdariya zêdetir.
Di dawiyê de, du tecrûbeyên din ên ku bi zanistên sosyal ên ku ne diqewletî de digel tevlihevkirina labê-deverê hene hene: ezmûnên lêkolînê û ezmûnên civakî. Vebijandinên lêkolînan bi karanîna avahiyên heyî yên navîn û bersivên danûstendinên alternatîf ên heman pirsan (yên ku ezmûnên lêkolînê re di beşa 3ê de têne pêşkêş kirin) têne bikaranîn. ji bo li ser ezmûnên lêkolîner ên bêhtir Mutz (2011) . Tecrûbeyên Sosyalî tecrûbeyên ku tedawiya polîtîkaya hinek siyaseta sosyal e ku tenê bi destê hikûmetê pêk tê. Tecrûbeyên Civakî bi nêzîkî bernameya bernameyê re girêdayî ne. Ji bo serpêhatiyên polîtîkayên Heckman and Smith (1995) , Orr (1998) , û @ glennerster_running_2013.
Min destnîşan kir ku li ser sê têgezên berbiçavkirinê: hebûnaografiyê, bandorên dermankirinê, û mekanîzmayên. Ev fikrên li nav deverên cuda hene. Ji bo nimûne, psîkologan ji bo ezmûnên navend û moderatoran (Baron and Kenny 1986) dikişînin ku ezmûnên hêsan ên ku ji hêla tecrûbeyên hêsan re digerin. Vê fikrên muayeneyên ku ji min re mekanîzmayên banga min digire, û fikrên moderatoran ji hêla ku ez ji rastiya biyanî tê dibêjim (nimûne, encama wê ê encamên cuda dê heke di rewşên cuda de hebe) dê û heterogeneityê bandora dermankirinê ( nimûne, bandorên hinek ji bo kesên din ji bo mezin in.).
Ceremonyona Schultz et al. (2007) nîşan dide ku çiqas çandên civakî çawa bikar anîn ku ji bo armancên bandorek bandor bikin. Ji bo armancên gelemperî li ser rola prensîpê di rêbazên bandorên bandor ên bandor ên bandor de bandor, Walton (2014) .
Têgihanên navxweyî û derveyî derveyî yekem ji aliyê Campbell (1957) . Ji bo dîrokek berfirehtir û pişkek hişyariya nirxandina statûya navxweyî, nirxa navxweyî, lihevhatina avahiyê, û Shadish, Cook, and Campbell (2001) .
Ji bo pêşniyarên pirsgirêkên peywendîdarbûna encama statûya statîstîkbûnê ya Gerber and Green (2012) (ji derveyî zanistiya civakî ya civakî) û Imbens and Rubin (2015) (ji perspektîfyek statîstîk). Hinek pirsên ku di taybetî de di tecrûbeyên pisporan de diqewiminin de pirsgirêkên statûya statîstîk, di nav deverên bi girêdayî daneyên danûstendinê (Bakshy and Eckles 2013) ên bandor ên bandor hene.
Baweriya navxweyî dikare ji bo ceribandinên zehmet ên zehmet dijwar be. Wek mînak, Gerber and Green (2000) , Imai (2005) , û Gerber and Green (2005) ji bo nîqaşkirina li ser pêvajoyê ya ceribandineke derheqê li ser dengdanê. Kohavi et al. (2012) û Kohavi et al. (2013) pêşniyarên di astengiyên navendê de di ezmûnên zeviyên zanyariyê de pêşkêş dikin.
Dibe ku tehdîdiyek mezin bi hunduriya navxweyî ye ku derfetên nerazîbûnê ne. Pêkêşkêşiyek rêbazek ku pirsgirêkên ku bi bîhnfirehkirina tespîtkirinê ye, ew e ku ew tedawîkirin û komên kontrol bikin li ser taybetmendiyên çavdêrî. Ev rengê hevbeş tête kontrola dravê ye . Hansen and Bowers (2008) nêzîkî Hansen and Bowers (2008) ji bo nêzîkî kontrolkirina Mutz and Pemantle (2015) ji bo derheqê Mutz and Pemantle (2015) kontrolê. Ji bo nimûne, lêpirsînek Allcott (2011) bikar anîn, Allcott (2011) hin belgeyên dîtina ku di sê sêyemên Opoverê de (nirxandin, 2, sîteyan 2, 6 û 8) bibînin. Ji bo Imbens and Rubin (2015) din, beşa 21ê Imbens and Rubin (2015) .
Gelek pirsgirêkên girîng ên têkildar yên navxweyî yên têne hene: (1) neheqiyek yekgirtî, ku ne li her kesê di dermankirinê de rastî rastî rastî tedbîrên wergirî qebûl kir, (2) du hevgirtî ne, lê li her kesê ku di nav koma dermankirinê de tedawî û hinek kes di Gomek kontrolkirina tedawiyê, (3) derxistin, ku encamên ji bo beşdarî hin beşdaran nirxandin, û (4) destwerdana ku li dermankirinê ji mirovên di tedawiya rewşa tedawî de mirov di kontrola rewşê de tête. Şagirtên 5, 6, 7, û 8 ji Gerber and Green (2012) ji bo her mijarên van mijarên din binêrin.
Ji bo bêtir li ser avakirina rastdariyê, li Westen and Rosenthal (2003) , li ser çavkaniyên rastdariyê di çavkaniyên daneyên mezin de, bibînin Lazer (2015) û pirtûk 2.
Yek ji çarçoveyek derveyî derve ye ku di nav veguherîna veguherînê de ye. Allcott (2015) tedbîrên teorîk û tecrûbeya berbiçavkirina hilbijartina malperê dide. Ev mijar di Deaton (2010) jî behsa nîqaş kirin. Pêweyek derveyî derve ye ku ka operasyonên alternatîf ên heman navendî wê bandorên heman rengî hene. Di vê rewşê de, peymanek Schultz et al. (2007) û Allcott (2011) nîşan dide ku ezmûnên opaverê ji hêla ezmûnên bingehîn yên bi Schultz û hevalên xwe re (bi% 5 versus 5%) tête çareser kirin. Allcott (2011) diyar kir ku tecrûbeyên piçûk yên piçûk hebû ku ji rêyên ku cûreyek cûda cûda bûne cuda bûye: hestyarek bi destûra nivîskî ya zanîngehek ji hêla zanîngehek veşartî, wekî mînakek emogonê wek beşek komkujî-hilberandin ji şirketa hêza xwe re rapor bikin.
Ji bo pêşniyarek baş a heterogeneityên bandorên tedawî yên li qada ceribandin, 12'emîn Gerber and Green (2012) . Ji bo danûstandinên bi heterogeneityê di darizandinên dermankirinê de, li Kent and Hayward (2007) , Longford (1999) , û Kravitz, Duan, and Braslow (2004) . Têgihîştina heterogeneityên bandorên tedawî bi gelemperî li ser bingehên tedawî yên pêşî li ser cudakêşan dikin. Heke hûn li ser hestogeneityê li ser nirxandinên piştî piştî dermankirinê bisekinin, hingê nêzîk pêdiviyên bêhtir hewce ne, wekî mîna stratejiya sereke (Frangakis and Rubin 2002) ; Page et al. (2015) ji bo lêkolînek.
Gelek lêkolînerên heterogenityê yên bandorên tedawî yên bi bikaranîna linear re hejmare dikin, lê belê rêbazên nû li ser fêrbûna makîneyê re dike; Wek mînak, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , û Athey and Imbens (2016a) .
Di derbarê encamên heterogeneityê de ji ber pirsgirêkên pirrjimar û "masîk" de gelek cûreyên statîstîk hene hene ku dikare ji bo têkildariyên pirrjimar (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) navnîşan de hene. (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Nîqaşek ku der barê "mekêşan" li ser psîkolojî (Nosek and Lakens 2014) , zanistiya siyasî (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) bi gelemperî berfirehtir e ku "masîk" , û aborî (Olken 2015) .
Di lêkolîna di Costa and Kahn (2013) tenê nêzîkî nîv malan di ceribandinê de dibe ku agahdariya demografîk ve girêdayî ye. Xwendekarên ku di van agahdaran de divê ji pirtûkek esasî re binihêrin.
Mîkrofîzma neheqî girîng e, lê ew ji bo lêkolînê pir dijwar be. Lêkolîna der barê mekanîzmayên nêzîkî pisporê navbeynkarên di psîkolojiyê de nêzîk girêdayî ye (lêgerîn ji bo VanderWeele (2009) ji bo her fikrên rastînek rastîn). Rêgezên Statîstîkî ji bo dîtina mekanîzmayên wekî, wekî nêzîkî Baron and Kenny (1986) hatine pêşxistin, pir gelemperî ne. Mixabin, ji ber ku ew di gelek rewşan de hêvî dikin (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) ku ew pêvajoyê li ser fikrên hinek hûrgelan girêdayî ye (Bullock, Green, and Ha 2010) (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) û Imai and Yamamoto (2013) çend rêbazên statîstîk çêtirîn pêşkêş dikin. Wekî din, VanderWeele (2015) bi tedawiya pirtûka pirtûkê re çend encamên girîng hene, her weha tevgerê berfirehtir ji bo analîzkirina hestiyariyê.
Viyetek cuda cuda li ser ezmûnên ku hewldanên mekanîzmayî bi awayekî zelal dikirin (wekî mînak, vitamin C vitamin C) hewce dike. Mixabin, di gelek saziyên zanistî yên civakî de gelek caran mekanîzmayên gelek caran hene û ew zehmet e ku hûn dermanên derman bikin ku bêyî guhertinên din biguhere. Hinek nêzîkên ku bi ezmûnîzma guherîna ezmûnan veguherînim ji Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , û Pirlott and MacKinnon (2016) .
Lêkolînerên ku bi temamên felalî yên tevahî tevger dibe ku hewce ne ku li ser testa fikra piranîna fikra gelek hebin; Ji bo bêhtir agahî ji bo Fink, McConnell, and Vollmer (2014) û List, Shaikh, and Xu (2016) bibînin.
Di dawiyê de, mekanîzmayên me di felsefeya zanistî de wekî dîrokek Hedström and Ylikoski (2010) .
Ji bo bêhtir li ser bikaranîna lêkolînên lêkolîn û lêkolînên lêkolînê yên ku cudakarî didin, ji Pager (2007) .
Riya herî gelemperî ku beşdarî beşdarî ceribandinên ku hûn çêbikin ji bo Mîrîkî Mîkrokîkî Tirk (Mîturk) ye. Ji ber ku MTurk bi awayên tecrûbeyên kevneşopî yên kevneşopî yên dicivin - da ku karên wan pêk bikin ku ew ji bo lêkolînvanên belaş-azad didin dest bi kar anîn. di ezmûnên pisporên kevneşopî de (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .
Bi gelemperî, fonksiyonên herî mezin yên beşdarî beşdarbûna karanîna Mîturkê lojîstîk e. Dema ku tecrûbeyên ceribandî dikarin hefteyên ku werin ceribandin û ceribandinên zeviyê bibin, dikarin mehan bidin sazkirin, tecrûbeyên ku bi beşdarî beşdarbûna ji MTurkê re di nav rojan de bibin. Ji bo nimûne, Berinsky, Huber, and Lenz (2012) bi karanîna yekemîn rojane 400 Berinsky, Huber, and Lenz (2012) dixebitin ku ji bo 8-ê ezmûna beşdarî beşdarî beşdar bibin. Ji bilî vê yekê, beşdarî van beşdaran dikarin ji bo hema hema hedef (hejmarek lêkolîn û hevkariya girseyî), wek ku di beşan 3 û 5'an de gotûbêj kirin. Ev lezgîniya wateya wateya ku lêkolîner dikarin tecrûbeyên têkildarî têkildarî têkildarî têkildarî têkildariyên têkildarî peyda bikin.
Berî ku beşdarî beşdarên ji Mîturkê ji bo xebatên xwe yên xweseriyê re, çar tiştên girîng hene ku hûn hewce bikin. Pêşîn, gelek lêkolînvanan bêdengiyek nespecific heye ku ezmûnên tirkan hene. Ji ber ku ev xemgîniyek ne diyar e, ew e ku bi şahidan re dijwar e. Lêbelê, piştî çend salan xebatên ku bi Tirkiyê re bikar tînin, em dikarin bisekinin ku ev êşkencekperest ne bi taybetî bi rastdar kirin. Gelek lêkolînên ku di demografîkên tirkî de bi wan reverên din ên din û gelek lêkolînên li gorî encamên tecrûbeyên bi tirkî ve ji wan re nifûsa din ve hene. Bi vî awayî vê yekê kar bîne, ez difikirim ku riya herî baş ji bo ku hûn difikirin, ew e ku Tirkker ji bo pêdivî ye ku hêla xwendekaran, lê pir hindiktirîn (Berinsky, Huber, and Lenz 2012) . Ji ber vê yekê, ku xwendekarên ku ji bo hinek kesayetiyên maqûl e, lê ne hemî, lêkolînê, Tirkan ji bo hinekan, lê hemî lêkolîner, nifşek maqûl e. Heke hûn bi Tirkiyê re dixebitin, hingê ew têgihîştin ku gelek lêkolînên van van comparisiyonên xwendin û xwendekarên wan fêm bikin.
Duyem, lêkolîner ji bo zêdekirina nirxên navxweyî yên MTurkê çêbibe û divê hûn li ser fêr bibin û van rêbazên çêtirîn peyda bikin (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Ji bo nimûne, lêkolînerên bikar tînin ku Turkkar bikar tînin ku ji bo beşdarvanên nerazîbûnê (Berinsky, Margolis, and Sances 2014, 2016) de ji hêla DJ Hauser and Schwarz (2015b) û DJ Hauser and Schwarz (2015a) ) bibînin. Heke hûn beşdarên nebaş nabin, hingê bandorek ji bo tedawiya ku ji wan re tête destnîşan kirin, ji hêla tevlîhevkirina hejmarek beşdarên nermalav dikare girîng in. Di ezmûnan de ji aliyê Huber û hevkarên (2012) , nêzîkî 30% beşdarî beşdar bûne serfirazên sereke. Gelek pirsgirêkên ku gelemperî gava Tirkiye tê bikaranîn têne çêbûne (Chandler et al. 2015) beşdarî (Chandler et al. 2015) (Zhou and Fishbach 2016) .
Sêyemîn, bi nimûneyên hinek dîplomayên dîjîtal, bi tecrûbeyên Mîturkê nikarin pîvana; Stewart et al. (2015) texmîn dike ku di her demê de tenê li 7000 kes li MTurkê hene.
Di dawiyê de, divê hûn bizanin ku MTurk civakek bi rêbazên xwe û ramanên xwe (Mason and Suri 2012) . Di heman awayî de hûn hewce bikin ku li ser çandeke welatekî ku hûn diçin ku hûn tecrûbeyên xwe digerin, hûn hewce bikin ku li ser çandî û ramanên tirkî (Salehi et al. 2015) . Û divê hûn bizanin ku Tirk dê di derbarê ceribandina xwe de behsa nîqaş bikin eger hûn tiştek tiştek neheqî an bêaqilî (Gray et al. 2016) .
Mîturk, ji bo beşdarên xwe yên ku ji wan re lab lab-like, wekî Huber, Hill, and Lenz (2012) , an jî bêtir zevî-wek, Mason and Watts (2009) bi rêkûpêk hêsan e Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , û Mao et al. (2016) .
Heke hûn difikirin ku hewl didin hilberê xwe hilberînin, ez pêşniyar dikin ku hûn şêwirmendî ji hêla MovieLensê li Harper and Konstan (2015) . Agahdariya sereke ji ji ezmûnên xwe ve ye ku ji bo her projeya serketî ya serkeftî heye, gelek gelek kêmasiyan hene. Ji bo nimûne, grûpa filmlensê hilberên din yên din, wekî wekî Gopher Encam, ku têkçûnên tevahî bûn (Harper and Konstan 2015) . Nimûneyeke din a ku lêkolînerê winda kirin û hewldanên hilberîna hilberê hilberîn, hewldana hewldana Edward Castronova ku lîstikek online ango navê Arden. Tevî ku 250,000 dolar bi fînansê, projeyek pişk bû (Baker 2008) . Projeyên wekî Gopher Encam û Arden ji hêla projeyên mîna MovieLens re gelekî gelemperî ne.
Min bihîst ku fikrên Pasteur Quadrant li ser şirketên teknîkî li ser axaftinê kir, û ew di hewldanên xebatên lêkolînê de li Google (Spector, Norvig, and Petrov 2012) dibe alîkar.
Bond û hevpeymanên lêkolînê (2012) jî hewldanên ku bandorên van tedawî li hevalên hevalên wan ên ku wan qebûl dikin bibînin. Ji ber ku sêwirîna tecrûbeyê, ev gengaz e ku zehmet e ku paqij bike. Pêdivî ye ku xwendevanên xwendekarên Bond et al. (2012) ji bo gotûbêjek bêtir tevahî. Jones û hevalên xwe (2017) di dema hilbijartinên 2012-2012 de gelek tecrûbeyek wisa kir. Ev ezmûn beşek kevneşopî ya tecrûbeyên di zanistî de li hewldanên ku ji bo hilbijartinan vebigirin (Green and Gerber 2015) . Ev ezmûnên derfetên derfetên derveyî dengdanê gelemperî in, ji ber ku ew li Qada Pasteur in. Ew e ku gelek kes hene ku ji bo hilbijartina dengdan û dengdanê zêde dibin dikare ravekek balkêş be ku ji teoriyên gelemperî derbarê guhertin û bandora civakî de tehlîm bikin.
Ji bo şêwirmendiya der barê ceribandinên herêmî bi rêxistinên hevpeymanan, wek partiyên Loewen, Rubenson, and Wantchekon (2010) û karsaziyê, bibînin Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , û Gueron (2002) . Ji bo fikrên der barê çawa rêxistinên bi hevkariyê dikarin li ser sêwirên lêkolînên lêkolînan bandorek bandor bikin, See King et al. (2007) û Green, Calfano, and Aronow (2014) . Hevpeymaniyê dikare pirsên nîştimanî bibin, wekî ku Humphreys (2015) û Nickerson and Hyde (2016) gotûbêj kirin.
Heke hûn ji berî ceribandinê bernameyek analîzek çêbikin, ez pêşniyaz dike ku hûn bi rêya rêbazên raporkirina xwendinê dest pê dike. PIRSERÊ (Rêberên Raporta Tenduristî yên Têrsazkirî yên Tendurist) hate derman kirin (Schulz et al. 2010) û lêkolînek civakî (Mayo-Wilson et al. 2013) . Ji hêla sazûbarên peywendîdar ve ji hêla nivîskarên rojnamevaniya Siyasetmedar (Gerber et al. 2014) Mutz and Pemantle (2015) û Gerber et al. (2015) ) jî bibînin. Di dawiyê de, ravekirinên raportên di psîkolojiyê (APA Working Group 2008) pêşxistin, û Simmons, Nelson, and Simonsohn (2011) .
Heke hûn planek analîzek çêbikin, divê hûn pêşniyazkirina xwe binihêrin, çimkî pêş-qeydkirina wê bawerî zêde bibe ku yên din di encamên we de hene. Wekî din, heke hûn bi hevkariyê re dixebitin, ew ê kapasîteya hevkariya xwe sînor bike ku piştî encama encamên dîtina analîzê biguherînin. Pêşniyara (Nosek and Lakens 2014) di psîkolojiya (Nosek and Lakens 2014) , zanistiya siyasî (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , û Aborî (Olken 2015) .
Pêşniyarên şêwirdariyê bi taybetî ji bo ezmûnên pisporên Konstan and Chen (2007) jî di Konstan and Chen (2007) û Chen and Konstan (2015) .
Çi ku ez navê stratejiya armada tê gotin, carinan carî caran lêkolînek bernameyek tê gotin; Wilson, Aronson, and Carlsmith (2010) .
Ji bo bêtir li ser tecrûbeyên Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , û Salganik (2007) . Ji bo bêtir li ser winner-take-all-bazaran, Frank and Cook (1996) . Ji bo bêtir li ser xêrhatina dilsoz û şehrezê gelemperî, Mauboussin (2012) , Watts (2012) û Frank (2016) .
Vê nêzîkek din heye ku ji bo hilweşandina tevlêbûna beşdaran heye ku lêkolîner divê bi hişyariyê bikar bînin. Di gelek deverên ezmûnan de yên beşdarî beşdarî beşdarî tecrûbeyên nû têne amadekirin û qet qet naş kirin. Mînakên vê metodê de Restivo û van de Rijt da (2012) bi ceribandineke li ser xelat di Wikipedia û Bond û hevkarê da (2012) bi ceribandineke li ser teşwîqkirina gel dengê xwe. Ev tecrûbeyên ne bi rêjeya lêbawer a neheq e, lê heqê wan lêgerînek nereng in . Di vê ezmûnan de, heke heke mesrefê her beşdaran pir piçûk e, lêçûna tevayî dikare pir mezin be. Lêkolînerên ku tecrûbeyên giran ên giran ên berbiçav têne dorpêkirin pir girîng e ku bandorên tedawî yên nirxandinên piçûk ên biçûk diyar dikin ku bi bandorên van biçûk dikarin girîng e ku gelek kesan bistînin. Di heman demê de fikirîna heman awayî mesrefên ku lêkolînvanan li ser beşdaran bisekinin jî derbas dibe. Heke tecrûbeya te tecrûbeya yek mîlyon kes derxistin ku yek yek qezenc bikî, tecrûbeya kesek ji her kesekî taybetî re ne zehf e, lê di tevahî de du salan dora wana wenda kir.
Nîqaşek din ku ji bo beşdariya mesrefên vakslêdana pîvana çêkirina beşdaran e, ew e ku ji bo lêkolînek lêkolînê (Halpern et al. 2011) . Ji bo der barê tecrûbeyên bikarhênerên kêfxweş ên Toomim et al. (2011) , li Toomim et al. (2011) . Ji bo zêdetir li ser bikaranîna Bot'an ji bo afirandina zero tecrûbeyên mesrefa variable dîtina ( ??? ) .
Sê sê R ya ku pêşî pêşniyar kirin ji aliyê Russell and Burch (1959) tê gotin:
"Replacement tê wê wateyê ku têxî ji bo zanebûn dijîn, heywanên bilind yên maddî insentient. Kêmkirina tê wateya kêmkirina hejmara of animals ji bo bidestxistina agahiyên ji beşekê dayîn û azmûn dike. Barîk tê wateya ti guhertinek di bûyera an hişkiya prosedurên neînsanî de ji bo kesên ku heywanên ku hê jî heye ku bi kar bîne. "
Sê sê R ya ku ez pêşniyaz nakim ne di çarçoveya nimûneyên ethîkî de tête şirovekirin. Bi heman awayî, ew guhertoyek yek ji van prensîpên-mexdûran-bi taybetî di tecrûbeyên tecrûbeyên mirovan de ne.
Di çarçoveya pêşîn de R ("replacement"), tecrûbeya têkoşîna hestyarî (Kramer, Guillory, and Hancock 2014) û tecrûbeya hestyarî ya sirûştî (Lorenzo Coviello et al. 2014) Ji ber ku ezmûnên ku ezmûnên xwezayî yên sirûştî (û mûzeyên din ên wekî mizgeftê hewldanên hewceyên dahatîkên ne-experînental, nirxandinên din ên din, lêbigere 2). Ji bilî berjewendiyên exlaqî, guherînên ji bo xebatên ne-ezmûn ên din jî jî lêkolîner dike ku ji bo dermanên logîstî ne ku nikarin xwepêşandanek xwendin. Lêbelê van wateyên etîkî û logîjî li ser lêçûnê bête. Bi xebatên lêkolînên xwezayî yên lêkolîner li ser tiştên ku mîna tevlîbûna beşdaran, nirxandinan, û xwezayî ya dermankirinê kêmtir kontrol dikin. Ji bo nimûne, sînorkirina barê wek barê tedawî ye ku ew jî herdu herduhevî zêde dibe û kêmasiya kêm kêm dike. Di lêkolînê de ezmûn, Kramer û hevalên xwe bi awayekî serbixwe û erênî yên serbixwe werinhev kirin. Nîqaşek taybetî taybetî ji Lorenzo Coviello et al. (2014) ji hêla L. Coviello, Fowler, and Franceschetti (2014) . Ji bo pêşniyara ku ji Lorenzo Coviello et al. (2014) , ku nêzîk tê bikaranîn ji aliyê Lorenzo Coviello et al. (2014) , bibînin Angrist and Pischke (2009) (kêmtir fermî) an Angrist, Imbens, and Rubin (1996) (bêtir fermî). Ji bo ku nirxandineke tedbîra cudahengî, li Deaton (2010) , û ji bo pêşniyarên ku bi amûrên qelsî (baranê amûreke qelsê ye) bibînin, Murray (2006) . Bi gelemperî, şiroveke baş bi xebata xwezayî ya Dunning (2012) , di dema Rosenbaum (2002) , ( ??? ) , û Shadish, Cook, and Campbell (2001) derbarê ezmûnên sedemên nirxên başan de nirxên baş pêşkêş dikin.
Di çarçoveya duyemîn R ("refinement"), dema ku guhertina dagirkeriya Emotional Contagion ji bo peydekirina astengên ji bo peydakirina avahiyên zanist û zanistî hene. Ji bo nimûne, dibe ku ew pêvajoya bicihanîna teknolojî ya Nûçeya Nûçeyê dike ku ew tecrûbeyek hêsantir e ku di postên ku ew zêdebûyî ji wan re asteng têne asteng kirin. wekî pergala seranserê seranserê pergala Nûçeyê ya bêyî hewceyê guhertina sîstema bingehîn). Bi awayekî zanistî, prensîpê ji hêla tecrûbeya nimûne ve tête nîqaşkirin yek ji paqijê li ser din ve diyar dike. Mixabin, ez nizanim ji ber ku pêşniyarên pêşniyarî yên li ser Nûçegihana Nûçeyê astengkirina astengiyên pêbawerî û astengkirina girîng a girîng e. Her weha, min lêkolînên tedawîkirinê yên ku ji wan re kêmtir zirarê çêtirîn ne dîtiye; Ji bilî bila B. Jones and Feamster (2015) , ku mijara pîvana însansiyonê ya înternetê (mijara mijara ku ez di pêwendiya Encore-Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).
Di warê sêyemîn R ("kêmkirina"), nirxandinên baş ji bo analîzkirina hêza kevneşopî ji hêla Cohen (1988) (Kovar) û Cohen (1992) (gotara), ji hêla Gelman and Carlin (2014) nîqaşek hûrgelek cuda pêşkêş dikin. Pêşniyarên pêşdibistanên pêşdibistanê dikarin di çarçoveya dîzan û analîzê de ji bo ezmûnan pêk bêne; beşa 4 ya Gerber and Green (2012) ji bo herdu rêbazan baş e, û Casella (2008) ji bo tedbîrên girîngehek bêtir pêşkêş dike. Teknîkên ku agahdariya pêşdibistanên pêşdibistanê di bikaranîna randomîzanê de têne bikaranîn bi gelemperî dîzamên ezmûnên tecrûbeyên berbiçav an jî pîşesazên ezmûnên stratîtkirî yên asteng têne (tête termînolojî bi tevahî civakan tê bikaranîn); Ev teknîkî bi nêzîkên teknolojîk ên Higgins, Sävje, and Sekhon (2016) yên ku di beşa nîqaşê de gotûbêj kirin, nêzîk re girêdayî ye. 3. Higgins, Sävje, and Sekhon (2016) , li ser van tecrûbeyên li ser tecrûbeyên mezin bikar tînin. Pêşniyarên pêşdibistanên pêşdibistanê dikarin di asta analîzê de bibin. McKenzie (2012) di nêzîkî berfireh de pisporên di navbera celeb-cudahiyê de lêkolînên zeviyê lêkolîn dike. Carneiro, Lee, and Wilhelm (2016) ji bo li ser bazirganî-ên di navbera riyên cuda de bibînin ku ji hêla bandorên dermankirinê re zêde dike. Di dawiyê de, gava ku biryara ku biryara pêşniyarên pêşniyarên li ser dîzdanê an jî analîzkirina analîzan (an jî herdu), hewce bike ku çend faktorên ku li ser bifikirin hene. Di pêvajoya ku lêkolîner dixwazin ku ew ne "masî" (Humphreys, Sierra, and Windt 2013) , ji bo pêşniyarên pêşdibistanê yên ku di qonaxa sêwirînê de bikar anîn dikarin bibin (Higgins, Sävje, and Sekhon 2016) . Di rewşan de ku beşdarî beşdarî pêşîn, bi taybetî bi tecrûbeyên zevî re, agahdariya pêşdibistanê di karanîna pîşesaziyê de dibe ku zehfî dijwar e; Wek mînak, Xie and Aurisset (2016) .
Ew ji bo vê yekê çiqas hûrgelan digotin ka çima cûdahiyek di navbera-cudahî de dikare ji cûdahî-yek-yek-yek awayekî bandor be. Piraniya encamên pirrjimar pir guhertin hene (mînak, RA Lewis and Rao (2015) û Lamb et al. (2015) ) û di demjimêr de bêhtir bêdeng in. Di vê rewşê de, hejmarên guherînê dê pir guhertineke piçûktir be, bi hêza testa statîstîkan. Sedemek vê nêzîk nayê bikaranîn, ew e ku berî temenê dîjîtal e, ew ne gelemperî ku encamên pêşî tedawî hene. Riya ku bêtir difikirin ku ev fikir dike ku fikra ceribandina tecrûbeya pêdivî ye ku ka pisporek pispor bi taybetî dibe sedema windakirinê. Heke ku hûn nêzîkî nîqaş-bi-rêbazên xwe bigire, texmîniya we dê di navbera mirovan de ji guherînên cûrbecîh ji hejmariyê re bibe. Heke ku hûn nêzîkbûna cudahiyê-di-cûdahiyê de, lêbelê, ku guhertina gavên xwezayî di nav jiyanê de têne rakirin, û hûn dikarin hêsantir ji hêla tedawiyê ve têne kontrol kirin.
Di dawiyê de, min çarçoveya çaremîn r. Ew e, heger lêkolînvanên xwe bi danûstendineke bêtir ezmûnan digerin, ji wan re pêwîstî pirsgirêka lêkolîna xwe ya navnîşana navnîşan bikin, ew hewceyê daneyên danûstendinê ji bo pirsên nû bipirsin. Ji bo nimûne, fikirîn ku Kramer û hevalên xwe ji nimûneyên nimûne-nîqaş-an-ê-cudahî bikar anîn û ji hêla hewceyê wan re bêtir daneyên xwe digerin pirsîn. Ji bilî daneyên danûstandinê bi tevahî heya, ew dikarin asta bandorê ku wekî fonksiyona îfadeya hestyarî ya pêşî-tedawî xwendin xwendin. Wek ku Schultz et al. (2007) dît ku ew bandora bikarhênerên ronahî û giran ji bo cûda bûye, dibe ku bandorên Nûçeyên Nûçeyê ji bo kesên ku ji berê ve girêdayî nexşandin (or sad sad) peyda bûn. Repurposing dikare bibe "masîk" (Humphreys, Sierra, and Windt 2013) û "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , lê ev bi piranî bi hev re hevdîtinên rastîn ên (Simmons, Nelson, and Simonsohn 2011) , pre-registration (Humphreys, Sierra, and Windt 2013) , û rêbazên fêrbûna makîneyê ku hewl didin ku bêtir xilas bikin.