şîrovekirina berfireh li

Ev beş, ji bo wek referansa bê bikaranîn, ne ji bo ku çîroka bê xwendin.

• Destpêk (Beş 4.1)

Pirs li ser sedemîtiyê di lêkolînên civakî de gelek caran aloz û tevlihev in. Ji bo nêrîneke bingehîn ji bo sedemîtiyê li ser diagram ketûber, dîtina Pearl (2009) , û ji bo ku nêzîkatiya bingehîn li ser encamên potansiyela, dîtina Imbens and Rubin (2015) (û di pêvekê de teknîkî di vê beşa). Ji bo berhevdana di navbera van du nêzîkayên, dîtina Morgan and Winship (2014) . Ji bo nêrîneke fermî ji bo pênasekirina a confounder, dîtina VanderWeele and Shpitser (2013) .

Di beşa, ez tên afirandin, çi wek line geş di navbera şiyana me ji bo ku bi texmînî sebebî ji welat, tecrûbî û non-ezmûna xuya dikir. Di rastiyê de, ez difikirim ku ferqa di blurrier e. Ji bo nimûne, kesî qebûl dike ku cixare penceşêra tevî ku em ezmûneke randomized kontrol kirin ku hêzên gel ji bo cixare kirine, tu caran. Ji bo tedawiyên baş length pirtûkeke li ser çêkirina texmînên sebebî ji welat non-experimental bibînin Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , û Dunning (2012) .

Beşên 1 û 2 ya Freedman, Pisani, and Purves (2007) pêşniyar danasîna zelal nav cudatiyên di navbera tecrûbeyên, tecrûbeyên kontrolkirin, û tecrûbeyan re bin kontrola randomized.

Manzi (2012) a bi cî kirina herî balkêş û xwendin di nav Piştgirîyên felsefî û statîstîk ji tecrûbeyên bin kontrola randomized pêşkêş dike. Ev jî balkêş wergerandî rast-cîhanê yên ku bi hêza Ezmûna di biznisê de pêşkêş dike.

• Ceribandinên li çi ne? (Beş 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) ne nasandin baş ji bo aliyên îstatîstîkî yên design, tecrûbî û analîzên. Zêdetir, ne dermanê baş ji bikaranîna tecrûbeyên di gelek waran de heye: aboriyê (Bardsley et al. 2009) , sosyolojî (Willer and Walker 2007; Jackson and Cox 2013) , psîkolojiyê (Aronson et al. 1989) , zanistên siyasî (Morton and Williams 2010) , û polîtîkaya civakî (Glennerster and Takavarasha 2013) .

Li ser girîngiya recruitment beşdarekî (wek nimûne, esil) pirî caran di lêkolîn experimental di bin-qebulkirin. Lê belê, eger bandora tedawiya faaliyetên di nifûsa e, wê demê mînakan krîtîk e. Longford (1999) jî vê xala bi zelalî dema ku ew ji bo lêkolînerên difikirin ji tecrûbeyên wek anketa xelkê bi mînakan jî seriyên bahsa.

• Du aliyên ji tecrûbeyên: lab-qadê û analog-digital (Beş 4.3)

The pêvebûn ku ez di navbera lab û warê tecrûbeyên pêşkêşkirin e hinekî hesan kirin. Di rastiyê de, yên din, lêkolînerên cudakirin bi detay in, yên bi taybetî ku formên cuda yên tecrûbeyên warê cuda cuda pêşniyar kirine, (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Din, li wê derê du cureyên din ên tecrûbeyên ji aliyê zanistên civakî, ku ji nav lab û li qadê parçe ne hêjayî reqsê:. Ceribandinên lêkolînê û ezmûnên civakî tecrûbeyên Survey bi tecrûbeyên bikaranîna bingehên anketên heyî û miqayese bersivên ji bo versions alternatîf yên heman pirs (hin tecrûbeyên lêkolînê li Chapter 3 pêşkeş kirin); ji bo bêtir li ser tecrûbeyên lêkolînê dîtina Mutz (2011) . ezmûnên civakî Ceribandinên li cihê ku tedawî hin polîtîkaya civakî ku bi tenê dikare bi destê dewletê bê meşandin e. ezmûnên civakî ji nêz ve related to bernameya nirxandinê. Ji bo bêtir li ser tecrûbeyên siyaseta, dîtina Orr (1998) , Glennerster and Takavarasha (2013) , û Heckman and Smith (1995) .

A hejmara rojnameyên lab û warê Ceribandinên li razber de muqayese dikin (Falk and Heckman 2009; Cialdini 2009) û di warê encamên tecrûbeyên taybet li zanistên siyasî (Coppock and Green 2015) , aborî (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) û psîkolojiyê (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) sîstena design lêkolîn nice ji bo danberheva results ji lab û warê tecrûbeyên.

Fikarên li ser beşdaran guhartina tevgera wan, ji ber ku ew dizanin ku ew bi hûrbînî çavdêriya bi carna bandora daxwaza bi navê, û ew di psîkolojiyê de lêkolînên (Orne 1962) û aborî (Zizzo 2009) . Tevî ku piranîya wan bi tecrûbeyên lab têkildarkirin, van mijaran heman dikarin pirsgirêkên bo Ceribandinên li nav zeviyê wek baş çewtiyan. Di rastiyê de, bandorên bi daxwaza jî carna bandora Hawthorne bi navê, a demdirêj ku ji ezmûneke warê ragirtin, bi taybetî tecrûbeyên û ronakkirina navdar ku di 1924 de li Works Hawthorne ji kompaniya Western Electric dest pê kir (Adair 1984; Levitt and List 2011) . Herdu bandorên daxwaz û bandorên Hawthorn ji nêz ve ji bo ku fikra yên amerîkayê reaksîyonî nîqaş li Chapter 2 related (bi dîtina Webb et al. (1966) ).

Di dîrokê de ji tecrûbeyên qadê hatiye dîtin di aboriyê şirove (Levitt and List 2009) , zanistên siyasî (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psîkolojiyê (Shadish 2002) , û polîtîkaya giştî (Shadish and Cook 2009) . Yek qada zanistên civakî de ku di ceribandinên warê zû navdar bû pêşketina navnetewî ye. Ji bo pêdaçûna erênî yên ku xebatên di nava aboriyê bibînin Banerjee and Duflo (2009) , û ji bo nirxandina krîtîk bibînin Deaton (2010) . Ji bo pêdaçûna ya vê xebatê li zanistên siyasî dîtina Humphreys and Weinstein (2009) . Di dawîyê de, zehmetiyên ku tev bi tecrûbeyên zeviyê di zanista siyasî, lêkola dîtin (Humphreys 2015; Desposato 2016b) û aborî û pêşketina (Baele 2013) .

Di beşa, ez pêşniyar kir ku agahî pre-dermanî dikare bê bikaranîn, ji bo baştirkirina azmûn ji bandorên tedawî texmînkirin, di heman demê de ye ku hin nîqaşên li ser vê nerînê de heye: Freedman (2008) , Lin (2013) , û Berk et al. (2013) ; dîtina Bloniarz et al. (2016) bo zaniyarîy zortir.

• Moving li derveyî tecrûbeyên sade (Beş 4.4)

Ez hilbijartin kiriye ku balê li ser sê têgehên: nasnekirina, heterojen ji bandorên tedawî, û mekanîzmayên. Ev têgeh hene bi navên cuda cuda di warên cuda de. Ji bo nimûne, psîkolog û meyl heye ku ji derveyî tecrûbeyên sade bar destê nemaze li ser navbeynkaran û moderatorê (Baron and Kenny 1986) . Bi fikra ji navbeynkaran re ji aliyê çi ez mekanîzmayên bang girtin, û bi fikra ji moderator bi tiştê ku ez û nasnekirina Link (wek nimûne, dê encamên ezmûna cuda be, eger ew di rewşên cuda de hate xebitandin) û heterojen ji bandorên tedawiyê (bang girtin wek nimûne, ji bandora mezintir ji bo hinek kesan ji mirovên din) in.

Ezmûna ji Schultz et al. (2007) nîşan dide ku çawa teoriyên civakî de dikarin bên bikaranîn daku dîzayna mudaxeleyên bi bandor. Ji bo nîqaşeke giştî zêdetir li ser rola teoriya çêkirina mudaxeleyên bi bandor, dîtina Walton (2014) .

• Validity (Beþ 4.4.1)

Têgehên qedîya navxweyî û derve jî di destpêkê de hatin şidandin Campbell (1957) . Dîtina Shadish, Cook, and Campbell (2001) ji bo dîroka bêtir bi kitkit û analîza baldar qedîya encamê, îstatîstîk, derbasdariya xwe ya navxweyî, û avakirina derbasdariya xwe, û derbasdariya xwe ji derve.

Bo nêrînek giştî li mijarên related to nasnekirina encamê, îstatîstîk di tecrûbeyên bibînin Gerber and Green (2012) (ji bo perspektîfa zanista civakî) û Imbens and Rubin (2015) (ji bo nêrîneke statîstîk). Hinek mijarên qedîya encamên statîstîk ku bi taybetî di tecrûbeyên warê liserxetê rabe de mijarên wek rêbazên computationally bandorkar ji bo afirandina navberan bawerî bi daneyên girêdayî (Bakshy and Eckles 2013) .

nasnekirina navxweyî dikare zehmet be ji bo misogerkirina li tecrûbeyên warê kompleks. , Ji bo nimûne, dîtina Gerber and Green (2000) , Imai (2005) , û Gerber and Green (2005) ji bo nîqaşên li ser pêkanîna ezmûneke warê kompleks li ser dengdanê. Kohavi et al. (2012) û Kohavi et al. (2013) ne bi cî nav dijwarîyên qedîya interval in tecrûbeyên warê me bike.

Yek fikara sereke bi nasnekirina navxweyî ye, pirsgirêkên bi randomization e. Yek rê ji bo potansiyel tesbîtkirina pirsgirêkên ku bi randomization e to compare komên tedawî û kontrola li ser taybetiyên diyar. Bi vî rengî ya berhevdana is a check balance navê. Dîtina Hansen and Bowers (2008) ji bo nêzîkbûna îstatîstîkî bo ku karibe kontrol dike, û dîtina Mutz and Pemantle (2015) ji bo fikarên li ser kontrola balance. Ji bo nimûne, bi bikaranîna a balance jî Allcott (2011) dîtin e ku, hin delîl ku randomization bû kardike li sê ji tecrûbeyên li hin ji yên ku di ceribandinên OPower pêkanîn ne li wê derê (Table 2 bibînin; malperên 2, 6, û 8). Ji bo helwestên din jî, dîtina Imbens and Rubin (2015) , Chapter 21.

Fikarên din ên mezin related to nasnekirina navxweyî in: 1) yek-Kendavê de non-didina, ku her kes ne di tedawiya li rastiyê de tedawî kiriye, 2) du Kendavê de non-didina, ku her kes ne di tedawiyê de tedawî û hin distîne gelê di pula kontrola tedawiya, 3) peritîn, ku encamên bi ji bo hin beşdaran pîvandin ne, û 4) midaxale, li cihê ku tedawî deqê ser ji kesên ku di rewşa tedawiyê de ji bo kesên di rewşa kontrola bistîne. Dîtina Gerber and Green (2012) Chapters 5, 6, 7, û 8 ji bo bêtir li ser her yek ji van mijaran.

Ji bo bêtir li ser nasnekirina başûr, dîtina Westen and Rosenthal (2003) , û ji bo zêdetir li ser nasnekirina başûr di çavkaniyên daneyan mezin, Lazer (2015) û Chapter 2 yên vê kitêbê.

Yek layî û nasnekirina Link Mîhengên ji ku derê mudaxele azmûn kirin e. Allcott (2015) a dermankirinê teorîk û ampîrîk baldar ya bias selection site provides. Di vê mijarê de jî li nîqaşkirin Deaton (2010) . Li gel ku di gelek malperên werbigirin, li Home Report Energy mudaxaleya hatiye jî hatiye serbixwe ji aliyê komên lêkolînên piralî xwendiye (wek nimûne, Ayres, Raseman, and Shih (2013) ).

• Heterojen ji bandorên tedawiyê (Beþ 4.4.2)

Bo nêrînek baş ji heterojen ji bandorên tedawiya li Ceribandinên li qadê, Chapter 12 ji dîtina Gerber and Green (2012) . Ji bo nasandin heterojen ji bandorên tedawî di ceribandinên tibî, dîtina Kent and Hayward (2007) , Longford (1999) , û Kravitz, Duan, and Braslow (2004) . Heterojen ji bandorên tedawiya bi giştî li ser cudahiyên ku li ser taybetiyên pre-tedawî rawestim. Heke hun dixwazin li heterojen li ser encamên post-tedawî in, hingê approachs tevlihevtir bi wek asûna bingehîn pêwîst (Frangakis and Rubin 2002) ; dîtina Page et al. (2015) ji bo pêdaçûna.

Gelek lêkolînerên texmîn heterojeniya ji bandorên dermankirinê bi kar regresyonê xêzeke, di heman demê de rêbazên nûtir li ser fêrkirina makîna xwe bispêrin, ji bo nimûne Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , û Athey and Imbens (2016a) .

E hin gumanbarîya li ser raveyên ji heterojen ji bandorên ji ber pirsgirêkên berhevdana multiple û "masiyan." In cîhêreng ên ji helwestên statîstîk ku dikare fikarên navnîşan li ser berhevdana multiple alîkariya hene (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Yek nêzîkatiya ji bo fikarên li ser "masiyan" pre-qeyda, ku dibe ku diçe di psîkolojiyê de hevbeş e (Nosek and Lakens 2014) , zanistên siyasî (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , û aborî (Olken 2015) .

Di vê lêkolînê de ji Costa and Kahn (2013) tenê li ser nîvî ji malbatên li ezmûna bikaribe ji bo agahiyên li demografîk ve were girêdan bûn. Xwendevanên bi vê analîzê bala li hûragahiyan û pirsgirêkên muhtemel, ji bo ku di kaxezê de original kirîza.

• Mekanîzmayên (Beþ 4.4.3)

Mekanîzmayên qasî girîng in, lê ew rû ji bo wê pir dijwar bixwînim. Lêkolîn li ser mekanîzmayên ji nêz ve bi vê lêkolînê ji hevkaran di psîkolojiyê de related (lê bi dîtina VanderWeele (2009) ji bo berhevdana vebir di navbera her du fikrên). Helwestên Îstatîstîkê ji bo mekanîzmayên bi dîtina, wek ku nêzîkbûna pêşxistin li Baron and Kenny (1986) , mayên. Mixabin, ev derkeve holê ku kesên ku prosedurên li ser hinek hîpotezên xurt girêdayî (Bullock, Green, and Ha 2010) û cefayê dema ku mekanîzmayên multiple li wir, wek yek bibe di gelek waran de li benda (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) û Imai and Yamamoto (2013) pêşniyar hin rêbazên îstatîstîkî başkirin. Bêtir, VanderWeele (2015) offers a dermankirinê pirtûka-length bi hejmarek ji encamên herî girîng, di nav wan de nêrîneke berfireh ji bo analîza hestewariyê.

A nêzîkatiyên cuda li ser tecrûbeyên ku fen û fîsk li mekanîzma rasterast (wek nimûne, gemîvan dayîna vîtamîna C) disekine. Mixabin, li gelek cihên zanistên civakî de ne, gelek caran li wir mekanîzmayên û gelek zehmet e ku dîzayna dermanê ku biguhere yek bêyî guhertina kesên din. Hin helwestên ji bo experimentally mekanîzmayên ku hawê bi li şirove Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , û Pirlott and MacKinnon (2016) .

Di dawiyê de, mekanîzmayên bi dîrokeke dirêj a ku di felsefeya zanistî hene weke ku ji aliyê Hedström and Ylikoski (2010) .

• Bikaranîna derdorên heyî (Beþ 4.5.1.1)

Ji bo zêdetir li ser bikaranîna xebatên wt û lêkolînên (Riksrevisionen) bipîvin cudakarî bibînin Pager (2007) .

• Ava ezmûna xwe bi xwe (Beþ 4.5.1.2)

Awayê herî belav ê ji bo peydakirina beşdaran tecrûbeyên ku we ava Amazon Mechanical Turk (MTurk) e. Ji ber ku MTurk mîmîk aliyên ji tecrûbeyên-dana lab kevneşop gel ji bo temamkirina karên ku ew ê ji bo lêkolînerên free-gelek do niha ve dest bi kar Turkers (karkerên li ser MTurk) weke beşdarên mijarên mirovan tecrûbeyên di encamê de bi berhevkirina daneyên zûtir û erzantir e ji rêûresmê li ser-kampusê de tecrûbeyên laboratorê de (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Mezintirîn hêza ji tecrûbeyên bi beşdaran wergirtin ji MTurk lojîstîk in: ew rê lêkolînerên ji bo peydakirina beşdaran bi lez û wek ku pêwîst e. Herwekî tecrûbeyên lab dikarin hefte bi rê ve bibin û tecrûbeyên warê dikarin bi mehan bidome ji bo danîna-up, tecrûbeyên bi beşdaran wergirtin ji MTurk dikare di rojên birêvebirin. Ji bo nimûne, Berinsky, Huber, and Lenz (2012) karibe ji bo peydakirina 400 mijarên di rojekê de ji bo beşdarbûna di ezmûna minute 8 bûn. Bêtir, van beşdaran de ji bo hema hema ti armanca wergirtin (di nav wan de lêkolîn û hevkariya girseyî, weke ku di Chapters 3 nîqaşkirin û 5). Ev rihetî û leşkerkirina wê wateyê ku lêkolîner dikarin Rêzkirinên ji tecrûbeyên related di buyerên bi lez birêvebirin.

Berî bimesîne, beşdaran ji MTurk bo tecrûbeyên xwe bi xwe, çar tiştên girîng ji bo dizanin hene. Yekem, gelek lêkolînerên xwedî Mundo non-taybet ji tecrûbeyên tevlêkirina Turkers. Ji ber ku ev bi şik e taybetî ne, lê zehmet e ku li dij bi delîlên. Lê belê, piştî çend salan ji xebatên bikaranîna Turkers, em dikarin niha wê encamê ku ev bi şik e, bi taybetî hewce ne. gelek xebatên di danberheva demografiya Turkers ji bo gelên din û gelek xebatên bi hev re encamên tecrûbeyên bi Turkers de bi encam ji gelên din ên li wê derê bû. Dayîn, ev hemû kar, ez difikirim ku baştirîn rê ji bo ku tu li ser wê difikirim e ku Turkers in test hevgirtinê maqûl, çiqas wek xwendekarên di heman demê de hinekî bi cur zêdetir (Berinsky, Huber, and Lenz 2012) . Ji ber vê yekê, wek ku xwendevan a nifûsa maqûl ji bo hinek lê ne hemû lêkolîn ceribandinê de ne, Turkers a nifûsa maqûl ji bo hinek lê ne hemû lêkolîn in. Eger tu diçî ji bo xebatê bi Turkers, paşê ew jî wateya ji bo xwendina gelek ji van xebatên comparative û fêm bikin û rengên xwe.

Duyemîn de, lêkolînerên best-pratîkên ji bo zêdekirina nasnekirina navxweyî yên tecrûbeyên Turk pêk hatine, û ji te re pêwîst li ser hîn bibin û ev baştirîn-pratîkên li pey (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Ji bo nimûne, lêkolînerên bikaranîna Turkers bi cesaret ji bo bikaranîna Screeners to jê beşdaran inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (di heman demê de jî bibînin DJ Hauser and Schwarz (2015b) û DJ Hauser and Schwarz (2015a) ). Heke tu beşdaran inattentive jê ne, wê demê ti bandora dermanî dikare ji aliyê dewreyê ji beşdaran inattentive şuştin, û di pratîkê de ku hejmara beşdarên inattentive dikarin girîng. Di ezmûna ji Huber û hevalên xwe (2012) li ser 30% ji beşdaran Screeners bala bingehîn bi ser neket. Pirsgirêkeke din hevbeş bi Turkers beşdaran non-saf e (Chandler et al. 2015) .

Sêyemîn, xizmekî ji bo hinek awayên din ên tecrûbeyên dîjîtal, tecrûbeyên MTurk ne bi pîvaneke; Stewart et al. (2015) texmîn dike ku di her demekê de tê dayîn ne bi tenê dikarî li ser 7,000 kes li ser MTurk hene.

Di dawiyê de, ji te re pêwîst dizanin ku MTurk a civakê bi qaîdeyên û normên xwe bi xwe ye (Mason and Suri 2012) . Bi heman awayî, ku hûn dê hewl da ku bibînin ku li ser çanda welatekî, ku hûn diçûnê, bûn, ji bo birêvebirina tecrûbeyên xwe, divê hûn hewl bidin ku bêtir agahîya li ser çand û normên ji Turkers (Salehi et al. 2015) . Û, ji te re pêwîst dizanin ku Turkers dê behsa ezmûna xwe, eger hûn tiştekî bêwate an ne exlaqî (Gray et al. 2016) .

MTurk awayekî pir bi xweşkeys de ji bo peydakirina beşdaran tecrûbeyên te ye, gelo ew lab-like in, wek Huber, Hill, and Lenz (2012) , an jî zêdetir warê-wek, mîna Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , û Mao et al. (2016) .

• Ava berhemên xwe (Beþ 4.5.1.3)

Eger tu difikirî yên hewl ji bo afirandina berhemên xwe bi xwe, ez pêşniyar dikim ku tu şîret ji aliyê koma MovieLens di xwendin Harper and Konstan (2015) . A averûyek ji key ji tecrûbeya wan e ku ji bo her karekê serkeftî gelek in, gelek şkestin hene. Ji bo nimûne, koma MovieLens din jî berhemên wek GopherAnswers ku şkestin temam bûn destpêkirin (Harper and Konstan 2015) . mînakeke din ya Lêkolînên Rêberê me di dema hewildana ji bo avakirina berhemê hewldana Edward Castronova ji bo ava an game bike navê Arden e. Tevî $ 250,000 di jêderên, ku projeya a flop bû (Baker 2008) . Projeyên mîna GopherAnswers û Arden in, mixabin, hê çiqas zêdetir hevbeş ji projeyên wek MovieLens. Di dawiyê de, dema min got ku ez ji tu lêkolînerên din ên ku bi serkeftin berhemên ve hatibû avakirin ji bo ezmûnên dubare ne dizanin ku li vir tên pîvanên min de: 1) beşdaran bi kar berhemên ji ber tiştê ku ji wan re pêşkêş dike (bo nimûne, ew bi pere ne û ew bi dilxwazên alîkariya zanist) û 2) berhemê hatiye dîtin ji bo zêdetir ji yek tecrubeya cuda (ango, ne di heman ezmûna çend caran bi adaniyê beşdar cuda) tê bikaranîn. Eger hûn ên wergerandî yên din nizanin, ji kerema xwe bila min dizanin.

• Partner bi hêz (Beþ 4.5.2)

Ez bihîst, bi fikra ji Quadrant Pasteur ve gelek caran li şîrketên teknolojîya nîqaşkirin, û ew alîkariya lidarxistina hewldanên lêkolînê de hate guherandin Google (Spector, Norvig, and Petrov 2012) .

Bond û xebata hevalên xwe ' (2012) hewlbide ji bo tesbîtkirina bandora van treatments li ser hevalên wan ên ku ew qebûl kirin. Ji ber yên ku design ji ezmûna, van spillovers ne bi durustî cleanly zehmet; xwendevan bala bibînin Bond et al. (2012) ji bo guftûgoyeke kûr û zêdetir. Ev ezmûna beşek ji kevneşopiyeke demdirêj yên tecrûbeyên li zanistên siyasî li ser hewldanên ji bo teşwîq dengdanê e (Green and Gerber 2015) . Van ezmûnên get-derket-ji-dengdanê di part hevbeş in, ji ber ku ew li Quadrant Pasteur in. e ku, gelek kesên ku ji ber armancine ji bo zêdekirina dengdan û dengdana dikarin şêlên balkêş ji bo ceribandinê teoriyên giştî der barê guhertina helwêstê û bandora civakî hene.

Din jî lêkolînên li ser dixebite Ceribandinên li qadê bi rêxistinên partner wek partiyên siyasî, rêxistinên civaka sivîl, şîrket û şîret hatine (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Hinekên din jî şîret li ser çawa hevkarî li gel rêxistinên dikarin designs lêkolîn bandorê teklîf kirine (Green, Calfano, and Aronow 2014; King et al. 2007) . Şirîkatîya jî dikarin ji bo pirsên exlaqî rê (Humphreys 2015; Nickerson and Hyde 2016) .

• Şîret Design (Beş 4.6)

Eger tu diçî ava plana analîzên berî bi bez ezmûna xwe, ez pêşniyar dikin, ku tu ji xwendina Rêbernameya raporên dest pê bike. The durûyan (qahîm Standard Rapor yên Darizandinên) Rêbernameya li dermanê han bûn (Schulz et al. 2010) û hate bo lêkolînên civakî (Mayo-Wilson et al. 2013) . A set related sîstemek ji aliyê edîtorên Journal of Experimental Zanistên Siyasî, pêşxistin hatiye (Gerber et al. 2014) (bi dîtina Mutz and Pemantle (2015) û Gerber et al. (2015) ). Di dawiyê de, Rêbernameya raporkirina di psîkolojiyê de hatine pêşxistin (Group 2008) , û bi dîtina Simmons, Nelson, and Simonsohn (2011) .

Eger tu ji plana analîza avakirina divê tu çavan pre-xweqeydkirinê ew ji ber pre-qeyda wê baweriyê ku kesên din li results te de bilind dike. Din, eger tu bi kar bi hevparê xwe, ew dê şîyana hevserê xwe ji bo guhertina analîzên piştî dît ku encamên bi sînor. Pre-qeyda hergî diçe di psîkolojiyê de hevbeş (Nosek and Lakens 2014) , zanistên siyasî (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , û aborî (Olken 2015) .

Dema afirandina plan pre-Şirovekirina te ji te re pêwîst dizanin ku hin lêkolîneran bi regresyonê û helwestên peywendîdar ji bo baştirkirina azmûn ji bandora tedawiya texmînkirin bi kar be, û ev e ku hin nîqaşên li ser vê nerînê de heye: Freedman (2008) , Lin (2013) , û Berk et al. (2013) ; dîtina Bloniarz et al. (2016) bo zaniyarîy zortir.

Design şîret bi taybetî ji bo tecrûbeyên warê me bike ku di pêşkêşkirin Konstan and Chen (2007) û Chen and Konstan (2015) .

• Create zero welat mesrefa variable (Beþ 4.6.1)

Ji bo bêtir li ser tecrûbeyên MusicLab de, dîtina Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , û Salganik (2007) . Ji bo bêtir li ser winner-bigire-hemû bazarên, dîtina Frank and Cook (1996) . Ji bo bêtir li ser Serkeftin û hunerê untangling bi giştî, dîtina Mauboussin (2012) , Watts (2012) , û Frank (2016) .

e nêzîkatiya din jî ji bo tunekirina dayinên beşdarekî ku lêkolînvan divê bi haydarî bi kar tînin hene: sewqê. Li gelek tecrûbeyên warê me bike beşdaran bi awayek bikêrhatî nav tecrûbeyên amadekirin û qet qerebokirin. Wergerandî yên vê nêzîkatiya de Restivo û van de Rijt da (2012) bi ceribandineke li ser xelat di Wikipedia û Bond û hevalê xwe yê (2012) ceribandineke li ser teşwîk dike ku dengê xwe bidin. Van ezmûnên bi rastî heye zero mesrefa variable, ew sifir mesrefa variable ji lêkolîneran. Tevî ku mesrefa ji gelek ji van ezmûnên ji bo her beşdarekî gelek biçûk e, mesrefên biçûk ferz bêhejmar beşdaran dikarin bi lez lê zêde bike up. Lêkolîner, dibezîn tecrûbeyên me bike mezin caran li ser girîngiya bandora derman bi texmînî biçûk û got ku, ev bandorên biçûk dikarin dema ku ji bo gelek kesan serî girîng bûye rûspî. Nêrîna rastîn heman bo mesrefên ku lêkolînerên ferz bike li ser beşdaran derbas dibe. Ger tecrûbeyên te, te bixe yek milyon kesan ji bo wunda yek minute, ezmûna e ji bo her kesekî bi taybetî gelekî xisar ne, lê di pź kir ew hatiye hema hema du salan ji dem heba.

Nêrîneke din jî ji bo afirandina zero variable dayina mesrefê ji beşdaran e bi kar lottery, an nêzîkatiya hatiye ku jî di lêkolînên bikaranîn (Halpern et al. 2011) . Di dawiyê de, ji bo bêtir li ser çêkirina bi kêf û user-tecrûbeyên bibînin Toomim et al. (2011) .

• Replace, sînordar bike, û kêm (Beþ 4.6.2)

Li vir, ew pênasekirinên ku eslî yê sê R, ji Russell and Burch (1959) :

"Replacement tê wê wateyê ku têxî ji bo zanebûn dijîn, heywanên bilind yên maddî insentient. Kêmkirina tê wateya kêmkirina hejmara of animals ji bo bidestxistina agahiyên ji beşekê dayîn û azmûn dike. Barîk tê wateya ti guhertinek di bûyera an hişkiya prosedurên neînsanî de ji bo kesên ku heywanên ku hê jî heye ku bi kar bîne. "

The sê R, ku ez pêşniyar ji prensîpên exlaqî ku di Beşa 6. override ne Lê belê, ew a Versiyon ji hurgilî û zêdetir jî yek ji wan prensîbên-dilovan-bi taybetî ji bo mîhengê ji tecrûbeyên mirovan in.

Dema mirov rîska Emotional, ne sê mijarên non-exlaqî ku di hişê xwe de bigirin dema ku şîrovekirina vê ezmûna hene. Yekem, ew jî ne zelal e ku çawa hûragahiyan li rastî yên ezmûna Girêdan bi îdîaya teorîk; bi gotineke din, ne li ser pirsên nasnekirina başûr heye. Ev jî ne zelal e ku xwe fehs peyva erênî û neyînî ne, bi rastî a nîşana baş ya dewleta dilovanî ya beşdaran ji ber ku 1) ew jî ne zelal e ku gotinên ku mirov pêve ne nîşana baş ji hestên xwe û 2) ev e zelal e ku ne di teknîkê de analîzên, hesek taybetî ku lêkolîner bi kar nikare bi şewazeke dide hestên e (Beasley and Mason 2015; Panger 2016) . Bi gotineke din, bibe pîvana xerab yên sînyal pêşdaraz hene. Duyemîn, design û analîzên li ser ezmûna me tiştek li ser ku herî tê jiyîn bû (ango, e no analysis of heterojen ji bandorên dermankirinê tune ye) û çi mekanîzma bibe dibêje. Di vê rewşê de, lêkolînerên ku gelek agahiyên li ser beşdaran hebû, lê ew di eslê xwe de wek widgets di analîzê de hatin dermankirin. Sêyem, size bandora Di vê ezmûneke pir biçûk bû; Ferqa di navbera wan û mercên dermankirinê û kontrola li ser 1 li 1,000 gotinên e. Di rojnameya xwe, Kramer û hevalên xwe de doza ku bandora vê size girîng e, ji ber ku bi sedan milyon xelkê ji têkevim News xwe her roj Feed. Bi gotineke din, ew dibêjin ku bandora ku biçûk ji bo her yekî ji wan mezin serhev in. Even eger hûn qebûl ev argumana, ew e hîn jî ne zelal eger bandora vê size girîng e li ser pirsa zanistî giştî li ser rîska hest. Ji bo bêtir li ser rewşên ku bandorên biçûk girîng in dîtina Prentice and Miller (1992) .

Di warê cara yekem R (yêdek), di danberheva ezmûna Emotional nexweşîvegirtina (Kramer, Guillory, and Hancock 2014) û rîska hest bi ceribandineke xwezayî (Coviello et al. 2014) pêşkêş dike hin dersên giştî li ser bazirganî-jikarderxistinê ya ku tev bi Kurdayetiyê ji Ceribandinên ji tecrûbeyên xwezayî (û helwestên din wek hevcotî ku hewldana ji bo hejma- Ceribandinên li welat non-experimental, Chapter 2 binêrin). Ji bilî alîkarîyên sosyalê exlaqî, ji bo guhertina ji ceribandinê de ji bo xebatên ne-tecrûbî jî lêkolînerên dihêle ku bixwînim û tedawiyên ku ew di warê lojîstîkê de nikarin bi helikopteran. Van alîkariyên exlaqî û lojîstîk di berdêla bê, lê belê. Bi tecrûbeyên xwezayî lêkolînerên xwedî kontrol kêmtir li ser tiştên wek kadroyên nû yên beşdaran, randomization, û ji cewherê tedawiyê. Ji bo nimûne, yek tahdîdên ji baranê wek dermankirinê ew e ku, hem jî zêde dike positivity û negatîf kêmbe. Di vê lêkolînê de ceribandinê de, lê belê, Kramer û hevalên xwe ji bo eyar positivity û negatîf serbixwe bûn.

Nêzîkbûna bi taybetî ji aliyê Coviello et al. (2014) bêhtir li ketîn bû Coviello, Fowler, and Franceschetti (2014) . Ji bo destpêkek ji bo guherbarên instrumental bibînin Angrist and Pischke (2009) (less fermî) an Angrist, Imbens, and Rubin (1996) (resmî). Ji bo nirxandina bi gûman guherbarên instrumental bibînin Deaton (2010) , û ji bo destpêkek ji bo guherbarên instrumental bi sazên bi lawaz (baran a instrument qels e), dîtina Murray (2006) .

Bi awayekî giştî, destpêkeke baş ji bo tecrûbeyên xwezayî ye Dunning (2012) , û Rosenbaum (2002) , Rosenbaum (2009) , û Shadish, Cook, and Campbell (2001) pêşniyar fikrên baş li ser nirxandin, bandora sebebî bê tecrûbeyên.

Di warê duyemîn R (barîk), ne zanistî û lojîstîk bazirganî-jikarderxistinê gava mirov li guhertina design ji rîska Emotional ji astengiyan Mesajên ji bo pirskirinê posts hene. Ji bo nimûne, lê dibe ko ev rewşa ku pêkanîna teknîkî yên News Feed de jî ew e bêjî hêsantir tiştekî biceribînin bi asêkirina posts bêtir ji ceribandina bi axivit posts (not dikin ku ceribandina bi asêkirina posts wê wek a layer li ser pêkanîn top ya pergala News Feed bêyî ti pêwîstî ji bo alterations ya pergala bingehîn). Zanistî, lê belê, teoriya gotarek ji aliyê ezmûna neda bi awayekî zelal pêşniyar yek design li ser ya din ne.

Lê mixabin, min ji lêkolînên berî girîng ji ser ranedibû nisbî ji astengkirinên û bi axivit naveroka in News Feed di ferqa im ne. Jî, min lêkolîn li ser gelek cureyên dermanê ji bo ku ji wan kêmtir bizirar dîtiye û ne; yek ji bilî e Jones and Feamster (2015) , ku di doza yên amerîkayê yên sansûra înternetê dibîne (a topic ez li Chapter 6 di têkiliya bi xebata Encore de nîqaş (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Di warê yê sisiyan R (Reduction), destpêkeke baş ji bo analîza hêza kevneşop e Cohen (1988) . covariates Pre-tedawiyê dikare di dîzayna sehneyê û qonaxa analysis of tecrûbeyên di nav de; Chapter 4 of Gerber and Green (2012) ji bo destpêkeke baş ji bo her du helwestên, û Casella (2008) a dermankirinê zêdetir di kûrahiya-pêşkêş dike. Teknîkên ku ev agahî pre-tedawî di randomization bi kar tînin bi awayekî tîpîk bi navê yan designs experimental an designs experimental biheketiye (têgihên is tim li ser civakan bi kar ne) asteng kir; ev teknîke bi dileke teknîkên mînakan biheketiye nîqaş li Beşa 3. See related Higgins, Sävje, and Sekhon (2016) ji bo zêdetir li ser bikaranîna van designs li tecrûbeyên mezin. Covariates Pre-dermankirin jî di qonaxa analîzê de cih bigrin. McKenzie (2012) xurtbûn û nêzîkatiya cudahiya-li-cudahiyên ji bo analîzkirina Ceribandinên li qadê bi berfirehî mezintir. Dîtina Carneiro, Lee, and Wilhelm (2016) ji bo bêtir li ser bazirganî-jikarderxistinê ya di navbera helwestên cuda ji bo zêdekirina wasiteyan li gor texmînan ji bandorên tedawiyê. Di dawiyê de, dema ku ka to try to de covariates pre-tedawiya li design an analîzên qonaxa (an jî herduyan), ne ku çend faktorên ji bo ku li wir. Di danişîna ku lêkolînerên dixwazin nîşan bidin ku ew ne "masiyan" ne (Humphreys, Sierra, and Windt 2013) , bi bikaranîna covariates pre-tedawiya li qonaxa ku sêwirîn dikare bibe alîkar (Higgins, Sävje, and Sekhon 2016) . Di rewşên ku beşdarên giha sequentially, Ceribandinên li qadê, bi taybetî bike, bikaranîna agahiyan pre-tedawiya li dîzayna sehneyê dikare lojîstîkê de zehmet be, ji bo nimûne bibînin Xie and Aurisset (2016) .

Ev hêjayî û got, hinekî ji intuition li ser vê yekê ferq-li-cudahiyên dikare bibe, da bêtir bi bandor ji cudahiya-li-rêbazên e. Gelek encamên online Balirên şer gelek bilind (nimûne binêrin, Lewis and Rao (2015) û Lamb et al. (2015) ) û li ser dem aram in. Di vê rewşê de, jihevkirî guhertinê dê berdewam ji bihaya biçûk hene, zêdekirina hêza test îstatîstîkî. Yek ji sedemên vê nêzîkî nayê bikaranîn gelek caran ew e ku berî ku temenê dîjîtal bû hevbeş ji bo encamên pre-tedawiyê ne. A awayekî flênber zêdetir li ser wê difikirim e ku mirov lê bifikire ceribandina ji bo pîvandinê ka rûtîn exercise taybet sedema kîloyan. Ger tu nêzîkatiya cudahiya-li-rêbazên, texmîna we dê Jorawjorí ku ji Jorawjorí tê pîvan li xelkê heye. Ger tu nêzîkatiya cudahiya-li-cudahiya, lê belê, ku pirrengî xwezayî de diqewimin li pîvan dikujî rakirin û hûn bi hêsanî dikane a cudahiya ku ji ber dermankirina.

One bi awayekî girîng ji bo kêmkirina hejmara beşdaran li ezmûna we ye bo çavderîyê analîzên hêza, ku Kramer û hevalên nikaribû li ser sizes bandora ji ezmûna xwezayî ji aliyê dît kiriye Coviello et al. (2014) an de lêkolîn non-experimental berê de ji aliyê Kramer (2012) (di rastiyê de ev çalakî li dawiya vê beşê de ne). Bala xwe bidinê ku ev bikaranîna analîzên hêza hinekî cuda ji tîpîk e. Li temenê analog de, lêkolînerên giştî kir analîzên hêza ku bicîh bikin ku xebata xwe bû too small ne (ango, di bin-powered). Niha, lê belê, lêkolîner divê analîzên hêza bikim da ku bicîh bikin ku xebata wan e pir mezin e ne (ango, li ser-powered).

Di dawiyê de, ez nirxandin û got, a R çaremîn: Repurpose. e ku, eger lêkolînerên xwe bi daneyên eksperiyê bêtir ji wan divê ji bo çareserkirina pirsa lêkolînên xwe yên resen, divê ew ji welat repurpose pirsên nû bixwazin. Ji bo nimûne, difikirin ku Kramer û hevalên a estimator cudahiya-li-cudahiyên bi daneya zêdetir pêwîst ji bo çareserkirina pirsa lêkolînên xwe bi kar anî û hate dîtin bi xwe. Bêtir ji bikaranîna welat bi firehî radeyekê ne, ku ew dikaribû bi mezinbûna bandora wek function Pêş-tedawî îfadekirina hest xwendiye. Çawa ku Schultz et al. (2007) dît ku bandora tedawiya ji bo bikarhênerên sivik û giran cuda bû, belkî ji encamên News Feed ji bo kesên ku ji berê de dijiyan, ji bo peyamên happy (an jî bi xemgînî) cuda bûn. Popê nikaribû bi "masiyan" rêberiya (Humphreys, Sierra, and Windt 2013) û "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , lê ev bi giranî bi yek ji raporên durist addressable (Simmons, Nelson, and Simonsohn 2011) , pre-qeyda (Humphreys, Sierra, and Windt 2013) , û rêbazên fêrbûna makîneyeke ku hewldana ji bo rê li ser-fitting.