faamatalaga gata i

Ua fuafuaina o lenei fuaiupu e tatau ona faaaogaina e avea o se faasinomaga, nai lo le tatau ona faitauina o se tala faamatala.

• Faatomuaga (Fuaiupu 4.1)

Fesili e uiga i causality i suesuega faaagafesootai e masani ona faigata ma lavelave. Mo se faiga faavae e causality faavae i luga o paraka- causal, tagai i le Pearl (2009) , ma mo se faiga faavae e faavae i taunuuga e ono, tagai Imbens and Rubin (2015) (ma le faaopoopoga faapitoa i le mataupu lenei). Mo se faatusatusaga i le va o nei auala e lua, tagai Morgan and Winship (2014) . Mo se aloaia auala e faamatalaina se confounder, tagai VanderWeele and Shpitser (2013) .

I le mataupu, ou te faia mea e foliga mai e pei o se laina pupula i le va o lo tatou tomai e faia faatatau causal mai faataitai ma faamatalaga e lē o ni faataitaiga. O le mea moni, ou te manatu o le eseesega o blurrier. Mo se faataitaiga, e talia e tagata uma o le ulaula ua mafua ai le kanesa e ui lava tatou te lei faia se suesuega pulea randomized e faamalosia lona tagata e ulaula. Mo togafitiga lelei umi tusi i luga o le faia o tala faatatau o tupe causal mai faamatalaga lē faataitai vaai Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ma Dunning (2012) .

Mataupu 1 ma le 2 o Freedman, Pisani, and Purves (2007) tuuina atu se folasaga manino i le eseesega i le va o suesuega, pulea o suesuega, ma randomized suesuega pulea.

Manzi (2012) e maua ai se folasaga matagofie ma le ma faitauina i totonu o le faavae faafilosofia ma faafuainumera o randomized suesuega pulea. E tuuina atu foi manaia faataitaiga moni o le lalolagi o le mana o experimentation i pisinisi.

• O a suesuega? (Fuaiupu 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) tuuina faatomuaga lelei i le vaega faafuainumera o le fuafuaga faataitai ma iloiloga. Gata i lea, o loo i ai togafitiga lelei o le faaaogaina o suesuega i le tele o vaega eseese: tamaoaiga (Bardsley et al. 2009) , Sociology (Willer and Walker 2007; Jackson and Cox 2013) , mataupu tau ​​le mafaufau (Aronson et al. 1989) , Saienisi faaupufai (Morton and Williams 2010) , ma faiga faavae lautele (Glennerster and Takavarasha 2013) .

O le taua o le faafaigaluegaina tagata auai (eg, faataitaiga) e masani lava ona i lalo o-talisapaia i suesuega faataitai. Ae peitai, pe afai o le aafiaga o le togafitiga o heterogeneous i le faitau aofai o tagata, lea o faataitaiga o le taua. Longford (1999) e manino lenei manatu ina ua ia fautuaga mo suesue mafaufau o suesuega o se faitau aofai o suesuega ma faataitaiga faagasuina.

• E lua itu o suesuega: lab-fanua ma analog-komepiuta (Fuaiupu 4.3)

O le dichotomy o le a ou tuuina i le va o suesuega lab ma fanua o se vaega faigofie. O le mea moni, o isi suesue ua fuafuaina typologies auiliili, aemaise ē e tuueseese le ituaiga eseese o suesuega fanua (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Gata i lea, e lua isi ituaiga o suesuega na faia e saienitisi o agafesootai e le fetaui faalelei i le lab ma fanua dichotomy:. Suesuega o suesuega ma suesuega faaagafesootai suesuega Fuagafanua ua suesuega e faaaoga ai le atinae eseese o suesuega oi ai nei ma faatusatusa tali i lomiga isi o le fesili lava lea e tasi (o loo tuuina atu nisi o suesuega o suesuega i le Mataupu e 3); mo vaai sili atu i suesuega suesuega Mutz (2011) . suesuega Social o suesuega pe afai o le faiga o ni faiga faavae lautele e mafai ona na ona faatinoina e se malo. e fesootaʻi vavalalata suesuega Agafesootai i le polokalama o le iloiloga. Mo nisi faamatalaga i suesuega o faiga faavae, tagai Orr (1998) , Glennerster and Takavarasha (2013) , ma Heckman and Smith (1995) .

O se numera o pepa ua faatusatusa suesuega lab ma fanua i le faamatalaga otooto (Falk and Heckman 2009; Cialdini 2009) ma i tuutuuga o le taunuuga o le suesuega faapitoa i le saienisi faaupufai (Coppock and Green 2015) , tulaga tau le tamaoaiga (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ma mataupu tau le mafaufau (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ofoina se mamanu suesuega manaia mo le faatusatusaina o taunuuga mai suesuega lab ma fanua.

Atugaluga e uiga i tagata o le vasega le suia o latou amioga ona latou te iloa o loo vavalalata matauina o nisi taimi e taʻua i latou o aafiaga manaoga, ma ua suesueina i mataupu tau ​​le mafaufau (Orne 1962) ma le tamaoaiga (Zizzo 2009) . E ui lava o le tele lava e fesootai ma suesuega lab, o nei mataupu lava e tasi e mafai ona mafua ai faafitauli faapea foi mo suesuega fanua. O le mea moni, manaoga aafiaga ua taʻua o nisi taimi foi aafiaga Hawthorne, se vaitaimi e pogai mai se faataitaiga fanua, faapitoa le lauiloa o suesuega malamalama na amata i le 1924 i le Hawthorne Galuega o le Kamupani i Sisifo Faa-Eletise (Adair 1984; Levitt and List 2011) . O loo fesootai lelei ma uma manaoga aafiaga ma aafiaga Hawthorn le manatu o le fua reactive talanoaina i le Mataupu e 2 (tagai foi Webb et al. (1966) ).

O le talafaasolopito o le fanua o suesuega o ua faamatalaina i le tamaoaiga (Levitt and List 2009) , saienisi faaupufai (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , mataupu tau ​​le mafaufau (Shadish 2002) , ma faiga faavae a le Malo (Shadish and Cook 2009) . O se tasi o vaega o saienisi lautele avea lea vave suesuega fanua iloga o atinae faava o malo. Mo se toe iloiloga lelei o le galuega i totonu o le tamaoaiga vaai Banerjee and Duflo (2009) , ma mo se iloiloga taua vaai Deaton (2010) . Mo se toe iloiloga o lenei galuega i le faasaienisi faaupufai vaai Humphreys and Weinstein (2009) . Mulimuli ane, o le luitau o le tauleleia aafia i suesuega fanua ua suesueina i le saienisi faaupufai (Humphreys 2015; Desposato 2016b) ma tamaoaiga atinae (Baele 2013) .

I le mataupu, ou te fautuaina atu e faapea o faamatalaga muai togafitiga e mafai ona faaaogaina e faaleleia ai le saʻo atoatoa o fuafuaina aafiaga togafitiga, ae o loo i ai ni finauga e uiga i lenei taumafaiga: Freedman (2008) , Lin (2013) , ma Berk et al. (2013) ; tagai Bloniarz et al. (2016) mo nisi faamatalaga.

• Agai i tala atu o suesuega faigofie (Fuaiupu 4.4)

Ou filifili e taulai atu i manatu faavae e tolu: aloaia, heterogeneity o aafiaga togafitiga, ma auala. O nei mataupu ua igoa eseese i vaega eseese. Mo se faataitaiga, psychologists taumafai e agai i tua atu o suesuega faigofie e ala i le taulai atu i le puluvaga ma moderators (Baron and Kenny 1986) . O le manatu o le puluvaga i le ua maua i le mea ou te taʻua o auala, ma le manatu o le moderators ua maua e ala i mea ua ou taʻua aloaia i fafo atu (eg, o le a ese ai le taunuuga o le suesuega pe afai na taufetuli i tulaga eseese) ma heterogeneity o aafiaga togafitiga ( eg, o le aafiaga tele mo nisi o tagata nai lo isi tagata).

O le faataitaiga o Schultz et al. (2007) faaalia ai le auala e mafai ona faaaogaina manatu lautele i le fuafuaina o aafiaga o lelei. Mo se finauga sili atu ona lautele e uiga i le matafaioi o le manatu i le fuafuaina o faauilavea lelei, tagai Walton (2014) .

• Tulaga aloaia (Fuaiupu 4.4.1)

Na uluai faailoa atu le manatu faavae o le aloaia i totonu ma fafo i Campbell (1957) . Tagai Shadish, Cook, and Campbell (2001) mo se talafaasolopito auiliili ma se faamalamalamaga faaeteete o le aloaia faaiuga faafuainumera, aloaia i totonu, fausia le tulaga aloaia, ma tulaga aloaia mai fafo.

Mo se aotelega o mataupu e faasino i le tulaga aloaia faaiuga faafuainumera i suesuega vaai Gerber and Green (2012) (mo se vaaiga faasaienisi lautele) ma Imbens and Rubin (2015) (mo se vaaiga faafuainumera). O nisi mataupu o le aloaia faaiuga faafuainumera e tulai mai faapitoa i luga o le initoneti o suesuega o le fanua e aofia ai mataupu e pei o computationally lelei auala mo le foafoaina o vaitaimi e le mautinoa ma faamatalaga faalagolago (Bakshy and Eckles 2013) .

e mafai ona faigata aloaia Internal ina ia mautinoa i suesuega faigata fanua. Tagai, mo se faataitaiga, Gerber and Green (2000) , Imai (2005) , ma Gerber and Green (2005) mo felafolafoaiga e uiga i le faatinoina o se suesuega fanua lavelave e uiga i palota. Kohavi et al. (2012) ma Kohavi et al. (2013) e maua ai se faatomuaga i le luitau o le aloaia vaitaimi i luga o le initoneti o suesuega fanua.

O se tasi o popolega tele ma aloaia i totonu o faafitauli ma randomization. Se tasi o auala e ono iloa faafitauli ma le randomization o le faatusatusa o le vaega o togafitiga ma le pulea i uiga observable. O lenei ituaiga o faatusatusaga ua taʻua o se siaki paleni. Tagai Hansen and Bowers (2008) mo se faiga faafuainumera e faapaleni ai tupe siaki, ma vaai Mutz and Pemantle (2015) mo atugaluga e uiga i siaki paleni. Mo se faataitaiga, e faaaoga ai siaki a paleni Allcott (2011) o loo maua o loo i ai nisi faamatalaga molimau e faapea o le randomization leʻi faatinoina saʻo i le tolu o le suesuega i nisi o suesuega OPower (tagai i le Pusa 2; nofoaga 2, 6, ma le 8). Mo isi auala, tagai Imbens and Rubin (2015) , Mataupu 21.

O isi popolega autu e faatatau i le tulaga aloaia i totonu o le: 1) tasi le itu lē tausisia, pe afai e le o tagata uma i le togafitiga vaega maua moni lava le togafitiga, 2) lua itu lē tausisia, pe afai e le o tagata uma i le togafitiga vaega ua maua e le togafitiga ma nisi maua ai e tagata i le vaega o pulea le togafitiga, 3) attrition, lea e le fuaina taunuuga mo nisi o tagata e auai, ma le 4) faalavelave, lea spills le togafitiga i luga o mai tagata i le togafitiga tulaga i tagata i le tulaga pulea. Tagai Gerber and Green (2012) le mataupu 5, 6, 7, ma le 8 mo le sili atu o nei mataupu taitasi.

Mo nisi faamatalaga i fausia aloaia, tagai Westen and Rosenthal (2003) , ma mo le sili atu i le fausia aloaia i le punavai tele o faamatalaga, Lazer (2015) ma le Mataupu e 2 o lenei tusi.

O se tasi vaega o le aloaia i fafo o le nofoaga lea o loo tofotofoina se faalavelave. Allcott (2015) e maua ai se togafitiga faʻalemafaufau, ma o ni faataitaiga faaeteete o faaituau filifilia nofoaga. O loo talanoaina foi le lomiga lenei i Deaton (2010) . I le faaopoopo atu i le replicated i le tele o nofoaga, o le Aiga o Malosiaga Report fesoasoaniga foi ua tutoatasi suesue e vaega tele o suesuega (eg, Ayres, Raseman, and Shih (2013) ).

• Heterogeneity o aafiaga togafitiga (Fuaiupu 4.4.2)

Mo se vaaiga lautele o heterogeneity lelei o aafiaga o togafitiga i suesuega fanua, tagai i le Mataupu 12 o Gerber and Green (2012) . Mo faatomuaga heterogeneity o togafitiga aafiaga i tofotofoga faafomai, tagai Kent and Hayward (2007) , Longford (1999) , ma Kravitz, Duan, and Braslow (2004) . Heterogeneity masani o aafiaga togafitiga taulai atu i eseesega faavae i uiga muai togafitiga. Afai e te fiafia i heterogeneity faavae i taunuuga mavae le togafitiga, lea o loo manaomia e pei approachs sili ona faigata e pei stratification autu (Frangakis and Rubin 2002) ; tagai Page et al. (2015) mo se toe iloiloga.

E toatele suesue faatatau le heterogeneity o aafiaga togafitiga e faaaoga regression linear, ae fou auala e faalagolago i luga o masini e aoao ai, mo se faataitaiga Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ma Athey and Imbens (2016a) .

O loo i ai nisi o le masalosalo e uiga i sailiiliga o heterogeneity o aafiaga ona o le tele o faatusatusaga faafitauli ma "fagota." E eseese auala faafuainumera e mafai ona fesoasoani popolega lauga e uiga i le tele o faatusatusaga (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . O se tasi auala e atugaluga e uiga i "fagota" O muai faamauina, lea ua avea faateleina masani i mataupu tau ​​le mafaufau (Nosek and Lakens 2014) , saienisi faaupufai (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ma le tamaoaiga (Olken 2015) .

I le suesueina o Costa and Kahn (2013) na o le afa o le aiga i le ona e sa mafai faataitaiga fesootai i le faamatalaga demographic. 'Aufaitau fiafia i le auiliiliga ma faafitauli e mafai ai ma lenei e tatau ona faasino iloiloga i le pepa muamua.

• Auala (Fuaiupu 4.4.3)

e tulagaese taua auala, ae latou te liliu atu i ona matua faigata e suesue ai. Suesuega e uiga i auala lelei e faatatau i le suesuega o le puluvaga i mataupu tau ​​le mafaufau (ae tagai foi VanderWeele (2009) mo se faatusatusaga tonu le va o le manatu e lua). Auala Faafuainumera i le sailia o auala, e pei o le auala e atiina ae i Baron and Kenny (1986) , e fai lava si masani. Ae paga lea, sa liliu atu o ia taualumaga e faalagolago i ni manatu malosi (Bullock, Green, and Ha 2010) ma mafatia pe ai ai o auala tele, o se tasi e mafai ona faamoemoe i le tele o tulaga (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ma Imai and Yamamoto (2013) ofoina nisi faaleleia metotia faafuainumera. Gata i lea, VanderWeele (2015) ofoina se togafitiga tusi-umi ma le tele o taunuuga taua, e aofia ai se faiga atoatoa i le faavasegaina le faautauta.

O se auala e ese mai e taulai atu i suesuega o le taumafai e faatiga i le auala saʻo (eg, le tuuina atu o seila vitamini C). Ae paga lea, i le tele o tulaga faasaienisi lautele o loo i ai e masani lava ona le tele o auala ma e faigata i le fuafuaina togafitiga ia e suia se tasi e aunoa ma le suia o le isi. O nisi auala e experimentally o loo faamatalaina auala suia i Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ma Pirlott and MacKinnon (2016) .

Mulimuli ane, auala i ai foi se talafaasolopito umi i le filosofia o le faasaienisi pei ona faamatalaina e Hedström and Ylikoski (2010) .

• O le faaaogaina o siosiomaga o lo oi ai (Fuaiupu 4.5.1.1)

Mo nisi faamatalaga i le faaaogaina o tusitusiga suesuega ma suesuega le sueina o tusi e fua ai le faailoga tagata vaai Pager (2007) .

• Fausia ai lou lava faataitaiga (Fuaiupu 4.5.1.2)

O le auala sili ona taatele e faafaigaluegaina tagata auai i le suesuega e fausia o Amasone Turk masini (MTurk). Ona vaega mimics MTurk o suesuega o le totogi masani lab tagata e faamaea ai galuega o le a latou lē faia mo suesue saoloto-o le toatele ua uma ona amata le faaaogaina o Turkers (o le tagata faigaluega i luga o MTurk) o ni sui auai i le suesuega o mataupu o le tagata e mafua i le vave ma le aoina o faamatalaga taugofie nai lo masani i-lotoa suesuega fale suesue (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

O le malosi sili o suesuega ma auai faafaigaluegaina mai MTurk e logistical: latou faatagaina suesue e faafaigaluegaina tagata vave ona auai ma pe a manaomia. Ae lab o suesuega e mafai ona vaiaso e tamoe ma fanua o suesuega e mafai ona masina e faatulaga-ae, o suesuega ma le mafai ona taufetuli auai faafaigaluegaina mai MTurk i le aso. Mo se faataitaiga, Berinsky, Huber, and Lenz (2012) sa mafai ona faafaigaluegaina le 400 mataupu i se aso e tasi e auai i se 8 minute faataitaiga. Gata i lea, e mafai ona faafaigaluegaina nei tagata o le vasega mo le toetoe lava o so o se faamoemoega (e aofia ai suesuega ma le vaega tele galulue, e pei ona talanoaina i le Mataupu e 3 ma le 5). O lenei faigofie o le faafaigaluegaina o lona uiga e mafai ona taufetuli suesue taunuuga o suesuega e faasino i le faasologa vave.

Ao lei sailia auai mai MTurk mo au lava suesuega, o loo i ai mea taua e fa e iloa. Muamua, o le toatele suesue i ai se masalosalo e le patino o suesuega e aofia ai Turkers. Talu ai ona e le o maoti lenei masalosalo, e faigata e tetee ma faamatalaga molimau. Ae peitai, ina ua mavae le tele o tausaga o suesuega e faaaoga Turkers, e mafai ona tatou i le taimi nei faapea atu e le o aemaise talafeagai lenei masalosalo. O loo i ai le tele o aoaoga i le faatusatusaina o le demographics o Turkers i isi le faitau aofai ma le tele o suesuega faatusatusaina taunuuga o suesuega ma Turkers i le taunuuga mai isi faitau aofai. Tuuina mai lenei galuega uma, ou te manatu o le auala sili mo oe e te mafaufau i ai o le Turkers o se faataitaiga talafeagai le faafaigofieina, o le tele e pei o tamaiti ae teisi sili eseese (Berinsky, Huber, and Lenz 2012) . O lea la, e pei lava o tagata o le vasega o se faitau aofai o tagata talafeagai mo nisi ae le uma suesuega faataitai, Turkers o se faitau aofai o tagata talafeagai mo nisi ae le suesuega uma. Afai o loo e alu i le galulue faatasi ma Turkers, o lea e lagona e faitau le tele o nei suesuega faatusatusa ma malamalama io latou nuances.

Lona lua, ua atiina ae suesue sili-faiga mo le faateleina o le tulaga aloaia i totonu o suesuega Turk, ma e tatau ona e aoao e uiga ma mulimuli i nei sili-faiga (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Mo se faataitaiga, e uunaia tagata suesue le faaaogaina o Turkers e faaaoga screeners e aveese auai inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (ae tagai foi DJ Hauser and Schwarz (2015b) ma DJ Hauser and Schwarz (2015a) ). Afai e te le aveesea auai inattentive, lea e mafai ona fufuluina o so o se aafiaga o le togafitiga e leo faailoa mai i tagata auai inattentive, ma i le faiga e mafai ona tele le aofai o tagata e auai inattentive. I le faataitaiga o Huber ma paaga (2012) e uiga i le 30% o tagata e auai mafai screeners gauai faavae. O le isi faafitauli taatele i Turkers o tagata o le vasega e le faavalevalea (Chandler et al. 2015) .

Lona tolu, e faatatau i se isi ituaiga o suesuega faafuainumera, e le mafai ona fua suesuega MTurk; Stewart et al. (2015) le fuafaatatau e faapea i soo se taimi o loo i ai na o le 7,000 tagata i MTurk.

Mulimuli ane, e tatau ona e iloa o MTurk o se nuu ma ona lava tulafono ma faiga masani (Mason and Suri 2012) . I le ala lava e tasi e te taumafai e saili mai e uiga i le aganuu o se atunuu e le ae taufetuli lau suesuega, e tatau ona e taumafai e saili atili e uiga i le aganuu ma le faiga masani o Turkers (Salehi et al. 2015) . Ma, e tatau ona e iloa o le a Turkers talanoa e uiga i lou suesuega pe afai e te faia se mea le talafeagai po o unethical (Gray et al. 2016) .

MTurk o se tulagaese auala talafeagai e faafaigaluegaina tagata auai i lau suesuega, pe latou lab-e pei o, e pei o Huber, Hill, and Lenz (2012) , po o le sili fanua-e pei o, e pei o Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ma Mao et al. (2016) .

• Fausia ai lou lava oloa (Fuaiupu 4.5.1.3)

Afai e te mafaufau o le taumafai e faia lau lava oloa, ou te fautua atu ia outou faitau i le fautuaga e ofoina mai e le MovieLens vaega i Harper and Konstan (2015) . O se malamalamaaga autu mai o latou aafiaga o le galuega mo le manuia taitasi e tele, o le toatele toilalo. Mo se faataitaiga, o le MovieLens vaega faalauiloa isi oloa e pei o GopherAnswers sa toilalo atoatoa (Harper and Konstan 2015) . O le isi faataitaiga o se tagata suesue lē ao le taumafai e fausia se oloa o le taumafai o Edward Castronova e fausia ai se taaloga i le initoneti taʻua Arden. E ui lava i $ 250,000 i tupe, o se flop le galuega faatino (Baker 2008) . Galuega faatino e pei o GopherAnswers ma Arden o le mea e leaga tele taatele nai lo le galuega faatino e pei o MovieLens. Mulimuli ane, ina ua ou fai atu ou te lei iloa o so o se isi tagata suʻesuʻe na manuia fausia oloa mo experimentation toe iinei o oʻu taiala: 1) o le vasega faaaoga le oloa ona o le mea e maua ai i latou (eg, e le o totogiina i latou ma latou e le o volenitia fesoasoani faasaienisi) ma le 2) ua faaaogaina le oloa mo le sili atu i le tasi faataitaiga eseese (ie, e le o le suesuega lava lea e tasi taimi tele i le lepa eseese auai). Afai e te iloa o le isi faataitaiga, faamolemole ou te iloa.

• Paaga ma le malosi (Fuaiupu 4.5.2)

Ou faalogo i le manatu o le Quadrant a Pasteur talanoaina soo i kamupani tech, ma e fesoasoani e faatulaga taumafaiga suesuega i Google (Spector, Norvig, and Petrov 2012) .

Bond ma paaga 'suesuega (2012) foi taumafai e iloa le aafiaga o nei togafitiga i luga o le uo oi latou oe na taliaina i latou. Ona o le mamanu o le suesuega, e faigata nei spillovers e iloa cleanly; tatau ona vaai le au faitau fiafia Bond et al. (2012) mo se talanoaga maeaea. O le faataitaiga o se vaega o se tu masani umi o le suesuega i le saienisi faaupufai i taumafaiga e uunaia palota (Green and Gerber 2015) . O nei suesuega e masani Mauaina-mai-le-palota i le vaega ona latou i ai i Quadrant a Pasteur. O le, o loo i ai le toatele o tagata o loo uunaia o ia e faateleina palota ma palota e mafai ona avea o se amioga manaia e tofotofo manatu sili atu ona lautele e uiga i amioga suiga ma aafiaga faaagafesootai.

O isi suesue ua e tuuina mai fautuaga e uiga i tamoe fanua o suesuega ma faalapotopotoga o paaga e pei o le vaega faaupufai, Faalapotopotoga Tumaoti, ma pisinisi (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . O isi ua tuuina atu o fautuaga i auala faiga faapaaga ma faalapotopotoga e mafai ona aafia ai fuafuaga suesuega (Green, Calfano, and Aronow 2014; King et al. 2007) . E mafai foi ona Partnership taitai i fesili tauleleia (Humphreys 2015; Nickerson and Hyde 2016) .

• Fautuaga Design (Fuaiupu 4.6)

Afai o le ae faia se fuafuaga iloiloga i luma o tamoe outou faataitaiga, ou te fautuaina e te amata i le faitauina o taiala lipoti. O le CONSORT (tuufaatasia o Lipoti Standard o Tofotofoga) na atiina ae taiala o loo i vailaau (Schulz et al. 2010) ma fesuiai mo suesuega faaagafesootai (Mayo-Wilson et al. 2013) . Se seti e fesootai i ai o le taiala ua atiina ae e le faatonu o le Journal of faataitai Saienisi Faaupufai (Gerber et al. 2014) (tagai foi Mutz and Pemantle (2015) ma Gerber et al. (2015) ). Mulimuli ane, lipoti taiala ua atiina ae i mataupu tau ​​le mafaufau (Group 2008) , ma vaai foi Simmons, Nelson, and Simonsohn (2011) .

Afai e te faia se fuafuaga iloiloga e tatau ona e mafaufau muai faamauina ai ona muai faamauina o le a faateleina le le mautinoa o loo i ai isi i lou taunuuga. Gata i lea, pe afai o loo e galue ma se paaga, o le a le faatapulaaina o le a le gafatia e sui lau paga iloiloga ina ua ia vaaia le taunuuga. Ua avea muai faamauina faateleina masani i mataupu tau ​​le mafaufau (Nosek and Lakens 2014) , saienisi faaupufai (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ma le tamaoaiga (Olken 2015) .

A le faia o lau fuafuaga muai iloiloga e tatau ona e iloa e nisi o tagata suesue foi ona e faaaogaina regression ma auala e fesootai i ai e faaleleia atili ai le le saʻo o le aafiaga togafitiga fuafuaina, ma o loo i ai ni finauga e uiga i lenei taumafaiga: Freedman (2008) , Lin (2013) , ma Berk et al. (2013) ; tagai Bloniarz et al. (2016) mo nisi faamatalaga.

Design fautuaga faapitoa mo suesuega i le initoneti fanua ua tuuina atu foi i Konstan and Chen (2007) ma Chen and Konstan (2015) .

• Fatu o faamatalaga tau ma liuliuina (Fuaiupu 4.6.1)

Mo nisi faamatalaga i le suesuega MusicLab, tagai Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ma Salganik (2007) . Mo nisi faamatalaga i manumalo-ave uma maketi, tagai Frank and Cook (1996) . Mo nisi faamatalaga i untangling laki ma le tomai sili atu masani, tagai Mauboussin (2012) , Watts (2012) , ma Frank (2016) .

O loo i ai se isi auala e faaitiitia tupe totogi auai e tatau ona suesue e faaaogaina ma le faaeteete: conscription. I le tele o suesuega o le initoneti fanua ua e taʻu tusia auai i suesuega ma e le o totogia. Faataitaiga o lenei auala e aofia ai Restivo ma van de a Rijt (2012) tofotofo i taui i Wikipedia ma Bond ma a uo (2012) tofotofo i le uunaiina o tagata e palota ai. O nei suesuega e le moni ai o le tau ma liuliuina, ua latou o tau ma liuliuina e suesue. E ui lava o le tau o le tele o nei suesuega e matua laiti e auai taitasi, tau laiti faaee atu se numera tele o tagata o le vasega e mafai ona faaopoopo atu vave i luga. Suesue tamoe o suesuega i le initoneti tetele masani ona faamaonia ai le taua o le laiti aafiaga fuafuaina togafitiga i le faapea mai o nei aafiaga laiti e mafai ona avea taua pe a faaaoga i le tele o tagata. O le mafaufau tonu lava e faatatau i tau ua faaee atu suesue i tagata o le vasega. Afai o lau suesuega ua mafua ai le tasi miliona o tagata e maumau se minute se tasi, e le o lava leaga o le faataitaiga e so o se tagata faapitoa, ae i le tuufaatasia ua maumau toetoe lava lua tausaga o taimi.

O le isi auala i le fatuina o le totogiina o tau ma liuliuina e tagata auai o le faaaoga a Lotto, o se faiga ua faaaogaina foi i suesuega suesuega (Halpern et al. 2011) . Mulimuli ane, ona atili e uiga i le fuafuaina o fiafia tagata e faaaogāina-aafiaga vaai Toomim et al. (2011) .

• Sui, faaleleia, ma le Faaitiitia (Fuaiupu 4.6.2)

O le faauigaga autu o le tolu R, mai Russell and Burch (1959) :

"Le toe suia o lona uiga o le suia mo iloa manu maualuga ola o mea insentient. Faaitiitiga o lona uiga o le faaitiitia o le fuainumera o manu e faaaoga e maua mai ai faamatalaga o le a tuuina atu le aofaiga ma le saʻo atoatoa. Faamamaina o lona uiga o so o se faaitiitia o le incidence po o le mamafa o inhumane taualumaga faatatau ia i latou manu lea e tatau ona faaaoga pea. "

O le a lena tolu R ou fautua te le faasili ai le mataupu faavae o le tauleleia o loo faamatalaina i le Mataupu e 6. Ae, latou o se lomiga sili atu elaborated se tasi o na mataupu faavae-beneficence-faapitoa mo le faatulagaina o suesuega faaletagata.

Pe a iloiloina Contagion Faalelagona, e tolu mataupu e lē o le tauleleia e tausia i le mafaufau pe a faaliliuina lenei faataitaiga. Muamua, e le manino foi pe o le faamatalaga moni o le faataitaiga fesootai i le talosaga tau o ni faaupuga; i se isi faaupuga, o loo i ai fesili e uiga i fausia aloaia. E le o manino mai le faitauga o le upu lelei ma le lelei o mea moni o se faailoga lelei o le tulaga o lagona o tagata o le vasega ona 1) e le o manino mai le upu e faapipii tagata o se faailoga lelei o latou lagona ma 2) e le o manino ai le auala iloiloga faapitoa lagona e faaaogaina le suesue e mafai ona ia infer faalagolago lagona (Beasley and Mason 2015; Panger 2016) . I se isi faaupuga, e mafai ona a fua leaga o le a faailo biased. Lona lua, le fuafuaga ma le auiliiliina o le faataitaiga o loo taʻu mai se mea e uiga na sili ona aafia ai (o lona uiga, e leai se auiliiliga o heterogeneity o aafiaga togafitiga) ma o le a le auala e mafai ona avea. I lenei tulaga, o le suesue i ai le tele o faamatalaga e uiga i tagata o le vasega, ae sa latou faia moni o widgets i le iloiloga. Lona tolu, o laiti lava le aafiaga tele i lenei faataitaiga; le eseesega i le va o le togafitiga ma le pulea tuutuuga e faatatau i le 1 i le 1,000 upu. I o latou pepa, Kramer ma paaga faia le tulaga e faapea o se aafiaga o lenei tele o taua ona o le faitau selau o miliona o tagata avanoa latou News Fafaga i aso taitasi. I se isi faaupuga, latou finau e oo lava aafiaga e laiti aua e tele a latou tagata taitoatasi i le tuufaatasia. E tusa lava pe e te taliaina lenei finauga, e le o manino pea i ai pe afai o se aafiaga o lenei tele o taua e faatatau i le fesili faasaienisi sili atu ona lautele e uiga i contagion faalelagona. Mo nisi faamatalaga i le tulaga taua lea aafiaga laiti vaai Prentice and Miller (1992) .

I tuutuuga o le muamua R (toe suia), i le faatusatusaina o le Faalelagona faataitaiga Contagion (Kramer, Guillory, and Hancock 2014) ma le faataitaiga faalenatura contagion faalelagona (Coviello et al. 2014) ofoina nisi o lesona aoao e uiga i le tau fefaatauaiga ua soloia ua aafia i le agai mai suesuega i suesuega masani (ma isi auala e pei o tutusa lea taumafaiga e tusa ma suesuega i faamatalaga e le faataitai, tagai i le mataupu e 2). I le faaopoopo atu i le faamanuiaga amio saʻo, e fesuiaʻi mai le faataitai i suesuega e le faataitai foi e mafai ai ona suesue e suesue togafitiga e logistically le mafai i latou e tala. O nei faamanuiaga e le tauleleia ma logistical oo mai i se tau, peitai. Faatasi ai ma suesuega masani suesue pulea itiiti ifo i luga o mea e pei o faafaigaluegaina o tagata e auai, randomization, ma le natura o le togafitiga. Mo se faataitaiga, o se tasi tapulaa o timuga o se togafitiga o e faateleina uma positivity ma faaitiitia negativity. I le suesuega faataitai, peitai, sa mafai Kramer ma paaga e fetuunai positivity ma negativity tutoatasi.

O le auala e faapitoa faaaogaina e Coviello et al. (2014) Na atili elaborated i Coviello, Fowler, and Franceschetti (2014) . Mo se faatomuaga i fesuiaiga meafaigaluega vaai Angrist and Pischke (2009) (itiiti ifo aloaia) po o Angrist, Imbens, and Rubin (1996) (sili atu aloaia). Mo se iloiloga talitonu o fesuiaiga meafaigaluega vaai Deaton (2010) , ma mo se faatomuaga i meafaigaluega fesuiaiga ma meafaigaluega vaivai (timu o se meafaigaluega vaivai), tagai i Murray (2006) .

Sili masani, o se faatomuaga lelei i suesuega natura o Dunning (2012) , ma Rosenbaum (2002) , Rosenbaum (2009) , ma Shadish, Cook, and Campbell (2001) ofoina atu ni manatu lelei e uiga i fuaina aafiaga causal aunoa ma suesuega.

I tuutuuga o le R lona lua (faamamaina), o loo i ai faasaienisi ma logistical fefaatauaiga ua soloia pe a mafaufau i le suia o le fuafuaga a Contagion Faalelagona mai polokaina pou i le faateleina o pou. Mo se faataitaiga, e mafai ona o le tulaga o le faatinoga faapitoa o le News fafaga ai e matua faigofie ai ona faia se suesuega ma polokaina pou nai lo le tofotofo i le faateleina o pou (ia maitauina e mafai ona faatinoina le tofotofo i polokaina pou o se vaega i luga o pito i luga o le News fafaga faiga e aunoa ma se manaomia o le suiga o le faiga faavae). Faasaienisi, ae peitai, e leʻi manino fautua atu se tasi o mamanu i luga o le isi i le teori faatuatusi i le faataitaiga.

Ae paga lea, ou te lei iloa o suesuega ao lumanai tele e uiga i le aiga galuega a polokaina ma le faateleina o le anotusi i le News fafaga. Gata i lea, ou te leʻi iloa o suesuega tele e uiga i le faamamaina o togafitiga e faia i latou itiiti leaga; vagana ai se tasi o Jones and Feamster (2015) , lea e manatu le tulaga o fua o faʻasenesoga Initoneti (a autu na ou talanoaina i le Mataupu e 6 i le sootaga i le suesuega Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

I tuutuuga o le lona tolu R (Faaitiitiga), o se faatomuaga lelei i le faavasegaina mana masani o Cohen (1988) . e mafai ona aofia ai covariates muai togafitiga i le mamanu tulaga ma le tulaga auiliiliina o suesuega; Mataupu 4 o Gerber and Green (2012) e maua ai se faatomuaga lelei uma e lua auala, ma Casella (2008) e maua ai se sili atu i le loloto togafitiga. Metotia o loo faaaogaina lenei faamatalaga muai togafitiga i le randomization ua masani taʻua pe punitia fuafuaga faataitai po o le fuafuaga faataitai stratified (o le faaupuga e le o faaaogaina pea lava pea i le isi itu nuu); nei metotia o loo loloto e faatatau i le auala faataitaiga stratified talanoaina i le Mataupu e 3. Tagai Higgins, Sävje, and Sekhon (2016) mo le sili atu i le faaaogaina o nei fuafuaga i suesuega maoae. E mafai foi ona aofia ai covariates muai togafitiga i le tulaga iloiloga. McKenzie (2012) explores le eseesega-i-eseesega auala e iloiloina o suesuega fanua auiliili sili atu. Tagai Carneiro, Lee, and Wilhelm (2016) mo le sili atu i le tau fefaatauaiga ua soloia i le va o eseese auala e faateleina ai le saʻo i le tala faatatau o le aafiaga o togafitiga. Mulimuli ane, pe a filifili pe e taumafai e aofia covariates muai togafitiga i le mamanu po o suesuega o tulaga (po o faasalaga uma e lua), o loo i ai ni nai itu taua e mafaufau i ai. I se tulaga lea suesue e te manao e faaali atu ua latou le "fagota" (Humphreys, Sierra, and Windt 2013) , e faaaoga ai covariates muai togafitiga i le tulaga mamanu e mafai ona fesoasoani (Higgins, Sävje, and Sekhon 2016) . I tulaga taunuu faasolosolo auai, aemaise lava i luga o le initoneti o suesuega o fanua, e faaaoga ai faamatalaga muai togafitiga i le tulaga mamanu e mafai ona faigata logistically, tagai mo se faataitaiga Xie and Aurisset (2016) .

E taua le faaopoopoina o se vaega itiiti o le lagona e uiga i le mafuaaga eseesega-i-eseesega e mafai ona tele sili atu ona lelei nai lo eseesega-i-o lona uiga. O le tele o taunuuga luga o le initoneti i ai lava variance maualuga (tagai eg, Lewis and Rao (2015) ma le Lamb et al. (2015) ) ma ua matua mautu le aluga o taimi. I lenei tulaga, maua o le a togi suiga tele variance laiti, le faateleina o le mana o le suega faafuainumera. O se tasi mafuaaga lenei faalatalata atu e le faaaogaina soo o le ao lumanai ai le tausaga faafuainumera sa le masani le i ai o taunuuga togafitiga-muamua. O se auala sili sima e mafaufau e uiga i ai o le mafaufau se suesuega e fua pe a masani faatinoga patino mafua leiloa mamafa. Afai e te faia se eseesega-i-o lona uiga o le auala, o le a maua variability o lou faatatauga e sau mai le variability i mamafa i le faitau aofai o tagata. Afai e te faia se eseesega-i-eseesega auala, Ae peitai, e oo atu aveesea lena suiga e tutupu fua i le mamafa ma e mafai ona sili atu ona faigofie ona iloa se eseesega e mafua mai i le togafitiga.

O se tasi taua o auala e faaitiitia ai le numera o tagata e auai i lau suesuega o le faatautaia ai se iloiloga o le mana, lea e mafai ona ia faia e faavae Kramer ma paaga i le ituaiga aafiaga matauina mai le faataitaiga o le lalolagi e Coviello et al. (2014) po o le muamua o suesuega e lē o ni faataitai e Kramer (2012) (o le mea moni o gaoioiga nei i le faaiuga o le mataupu lenei). Maitau o lenei faaaogaina o le mana o le auiliiliga o se vaega e ese masani. I le tausaga analog, suesue masani faia mana iloiloga ina ia mautinoa sa le itiiti foi a latou suesuega (ie, i lalo o-afi). O lenei, ae peitai, suesue e tatau ona faia iloiloga mana ina ia mautinoa e le o tele foi a latou suesuega (ie, i-afi).

Mulimuli ane, sa ou manatu i le faaopoopoina o se R lona fa: Repurpose. O le, pe afai e maua i latou lava suesue ma le faamatalaga sili faataitai lo latou te manaomia e taulima a latou fesili uluai suesuega, e tatau ona latou repurpose le faamatalaga e fai atu fesili fou. Mo se faataitaiga, mafaufau faapea na faaaogaina Kramer ma paaga a eseesega-i-eseesega estimator ma maua ai i latou lava ma sili atu nai lo faamatalaga manaomia e taulima a latou fesili suesuega. Nai lo le faaaogaina o le faamatalaga i le tulaga atoatoa, e mafai ona latou suesueina le tele o le aafiaga o se galuega tauave e le faia muamua o togafitiga faaupuga faalelagona. E pei lava ona Schultz et al. (2007) o loo maua e ese le aafiaga o le togafitiga mo le malamalama ma le faaaogaina mamafa, atonu o le aafiaga o le sa eseese News Fafaga mo tagata ua uma ona tausia e faapipii fiafia (po o le faanoanoa) savali. Repurposing mafai ona taitai atu ai i "fagota" (Humphreys, Sierra, and Windt 2013) ma le "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ae o nei ua tele addressable ma se tuufaatasiga o lipoti faamaoni (Simmons, Nelson, and Simonsohn 2011) , le muai faamauina (Humphreys, Sierra, and Windt 2013) , ma masini auala e aoao ai e taumafai e aloese mai i-talafeagai.