Dugang pa nga komentaryo

Kini nga seksyon mao ang gihimo aron gamiton ingon nga usa ka reperensiya, inay kay sa pagbasa ingon sa usa ka asoy.

• Pasiuna (Section 4.1)

Mga pangutana mahitungod sa causality sa social research mao ang sagad nga komplikado ug kuti. Kay sa usa ka sukaranang pamaagi sa causality base sa causal kan, tan-awa Pearl (2009) , ug alang sa usa ka sukaranan nga base sa potensyal nga resulta, tan-awa Imbens and Rubin (2015) (ug sa mga teknikal nga apendise niini nga kapitulo). Kay sa usa ka pagtandi tali niining duha ka mga pamaagi, tan-awa Morgan and Winship (2014) . Kay sa usa ka pormal nga pamaagi sa mahulagwayon nga sa usa ka confounder, tan-awa VanderWeele and Shpitser (2013) .

Sa kapitulo, gibuhat ko ang daw ingon sa usa ka mahayag nga linya tali sa atong abilidad sa paghimo sa causal banabana gikan sa eksperimento ug non-eksperimento data. Sa pagkatinuod, sa akong hunahuna nga ang kalainan mao blurrier. Kay sa panig-ingnan, ang tanan modawat nga ang pagpanigarilyo maoy hinungdan sa kanser bisan tuod kita wala gayud nahimo sa usa ka sinalagma kontrolado eksperimento nga nagpugos sa mga tawo sa aso. Kay labing maayo nga gitas-on nga basahon paagi sa pagtambal sa paghimo causal banabana gikan sa dili-eksperimento nga data tan-awa ang Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ug ang Dunning (2012) .

Kapitulo 1 ug 2 sa Freedman, Pisani, and Purves (2007) sa paghalad sa usa ka tin-aw nga pasiuna ngadto sa mga kalainan tali sa mga eksperimento, eksperimento, ug sinalagma eksperimento.

Manzi (2012) naghatag og usa ka makaiikag ug mabasa pasiuna ngadto sa pilosopiya ug statistical underpinnings sa sinalagma eksperimento. naghatag usab kini makapaikag nga mga panig-ingnan sa tinuod nga-nga kalibutan sa gahum sa eksperimento sa negosyo.

• Unsa ang mga eksperimento? (Seksyon 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) sa paghatag og maayo nga mga pasiuna ngadto sa mga statistical nga mga bahin sa eksperimento disenyo ug analysis. Dugang pa, adunay maayo kaayo nga mga tambal sa paggamit sa mga eksperimento sa daghang lain-laing mga kaumahan: economics (Bardsley et al. 2009) , Sociology (Willer and Walker 2007; Jackson and Cox 2013) , sikolohiya (Aronson et al. 1989) , Sa politika siyensiya (Morton and Williams 2010) , ug sa sosyal nga palisiya (Glennerster and Takavarasha 2013) .

Ang kamahinungdanon sa partisipante recruitment (pananglitan, sampling) mao ang kanunay nga sa ilalum sa-gipabilhan sa eksperimento research. Apan, kon ang epekto sa pagtambal mao ang heterogeneous sa populasyon, nan sampling ang kritikal. Longford (1999) naghimo niini nga punto sa tin-aw sa diha nga siya milaban sa mga tigdukiduki naghunahuna sa mga eksperimento nga ingon sa usa ka populasyon survey sa haphazard sampling.

• Duha ka LAMAS sa eksperimento: lab-uma ug Analog-digital (Section 4.3)

Ang dichotomy nga akong gipresentar sa taliwala sa lab ug sa uma eksperimento mao ang usa ka gamay ginpasimple. Sa pagkatinuod, ang ubang mga tigdukiduki gisugyot mas detalyado typologies, sa partikular nga mga nga sa pagbulag sa nagkalain-laing matang sa eksperimento (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Dugang pa, adunay duha pa ka laing matang sa mga eksperimento nga gihimo sa sosyal nga mga siyentipiko nga dili angay neatly sa lab ug sa uma dichotomy:. Survey eksperimento ug sosyal nga eksperimento Survey eksperimento mga eksperimento sa paggamit sa mga imprastruktura nga sa kasamtangan nga mga survey ug itandi tubag sa alternatibo nga mga bersyon sa sama nga mga pangutana (ang uban survey eksperimento nga gipresentar sa Kapitulo 3); alang sa dugang sa survey eksperimento tan-awa ang Mutz (2011) . Social eksperimento mga eksperimento diin ang pagtambal mao ang pipila ka sosyal nga palisiya nga lamang ipatuman pinaagi sa usa ka gobyerno. Social eksperimento suod nga nga may kalabutan sa programa evaluation. Alang sa dugang mga eksperimento palisiya, tan-awa Orr (1998) , Glennerster and Takavarasha (2013) , ug ang Heckman and Smith (1995) .

Ang usa ka gidaghanon sa mga papel itandi lab ug sa uma eksperimento sa abstract (Falk and Heckman 2009; Cialdini 2009) ug sa mga termino sa mga resulta sa mga piho nga mga eksperimento sa politikal nga siyensiya (Coppock and Green 2015) , ekonomiya (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ug sa sikolohiya (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nagtanyag sa usa ka nindot nga design research alang sa pagtandi sa mga resulta gikan sa lab ug eksperimento.

Mga kabalaka mahitungod sa mga partisipante sa pag-usab sa ilang kinaiya tungod kay sila nahibalo nga sila nga pag-ayo-obserbahan usahay gitawag nga panginahanglan nga mga epekto, ug sila gitun-an diha sa psychology (Orne 1962) ug sa economics (Zizzo 2009) . Bisan tuod kasagaran nakig-uban sa mga eksperimento lab, kining mao gihapon nga mga isyu hinungdan sa mga problema alang sa eksperimento ingon man. Sa pagkatinuod, ang panginahanglan epekto usab usahay gitawag Hawthorne epekto, usa ka termino nga gikuha gikan sa usa ka eksperimento uma, ilabi sa mga bantog nga kahayag eksperimento nga nagsugod sa 1924 sa Hawthorne Buhat sa Western Electric Company (Adair 1984; Levitt and List 2011) . Ang duha panginahanglan epekto ug Hawthorn epekto suod nga may kalabutan sa ideya sa sumbalik sukod nga gihisgotan sa Kapitulo 2 (tan-awa usab Webb et al. (1966) ).

Ang kasaysayan sa kapatagan eksperimento nga gihulagway diha sa economics (Levitt and List 2009) , sa politika siyensiya (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , sikolohiya (Shadish 2002) , ug sa publiko nga palisiya (Shadish and Cook 2009) . Usa ka dapit sa social science diin eksperimento dayon nahimong prominente ang internasyonal nga kalamboan. Kay sa usa ka positibo nga review sa niana nga buhat sulod sa economics makakita Banerjee and Duflo (2009) , ug alang sa usa ka kritikal nga assessment makakita Deaton (2010) . Kay sa usa ka review sa niini nga buhat diha sa politikal nga siyensiya makakita Humphreys and Weinstein (2009) . Sa katapusan, ang pamatasan hagit nalangkit sa eksperimento nga gisusi sa politikanhong siyensiya (Humphreys 2015; Desposato 2016b) ug development economics (Baele 2013) .

Sa kapitulo, ako misugyot nga pre-pagtambal nga impormasyon mahimong gamiton aron sa pagpalambo sa tukma sa gibana-bana nga mga epekto sa pagtambal, apan adunay pipila ka mga debate bahin sa niini nga paagi: Freedman (2008) , Lin (2013) , ug ang Berk et al. (2013) ; tan-awa ang Bloniarz et al. (2016) alang sa dugang nga impormasyon.

• Pagbalhin sa unahan sa yano nga mga eksperimento (Section 4.4)

Ako gipili sa pag-focus sa tulo ka konsepto: kabalido, heterogeneity sa mga epekto sa pagtambal, ug mga mekanismo. Kini nga mga konsepto nga adunay lain-laing mga ngalan sa nagkalain-lain nga mga kaumahan. Kay sa panig-ingnan, sikologo tambong sa paglihok sa unahan sa yano nga mga eksperimento pinaagi sa pagtutok sa mediators ug moderator (Baron and Kenny 1986) . Ang ideya sa mga magtutudlo mao ang nadakpan pinaagi sa unsa nga ako magtawag mekanismo, ug ang ideya sa mga moderator ang nadakpan pinaagi sa unsa nga magatawag ako sa gawas kabalido (pananglitan, nga ang mga resulta sa eksperimento lahi kon kini modagan sa lain-laing mga sitwasyon) ug heterogeneity sa mga epekto sa pagtambal ( pananglitan, ang mga epekto mas dako alang sa pipila ka mga tawo kay sa ubang mga tawo).

Ang eksperimento sa Schultz et al. (2007) nagpakita sa unsa nga paagi sa sosyal nga mga teoriya mahimong gamiton sa pagdesinyo epektibo nga interbensyon. Kay sa usa ka labaw nga kinatibuk-ang argumento bahin sa papel sa teoriya sa pagdesinyo epektibo interventions, tan-awa Walton (2014) .

• Kalig (Seksyon 4.4.1)

Ang konsepto sa internal ug external nga kalig-unang gipaila-ila sa Campbell (1957) . Tan-awa ang Shadish, Cook, and Campbell (2001) alang sa usa ka mas detalyado nga kasaysayan ug sa usa ka mag-amping nga pagpatin-aw sa mga statistical balido konklusyon, internal nga kabalido, magtukod kabalido, ug external nga kabalido.

Alang sa usa ka kinatibuk-ang paghulagway sa mga isyu nga may kalabutan sa statistical kabalido konklusyon diha sa mga eksperimento sa pagtan-aw Gerber and Green (2012) (alang sa usa ka sosyal nga panglantaw sa siyensiya) ug Imbens and Rubin (2015) (alang sa usa ka statistical panglantaw). Ang ubang mga isyu sa statistical balido konklusyon nga motungha ilabi sa online nga mga eksperimento kapatagan naglakip sa mga isyu sama sa computationally hapsay nga mga pamaagi alang sa pagmugna lat pagsalig nga may sakop nga mga data (Bakshy and Eckles 2013) .

Internal kalig mahimong lisud nga aron sa pagsiguro sa komplikado nga mga eksperimento uma. Tan-awa, alang sa panig-ingnan, Gerber and Green (2000) , Imai (2005) , ug ang Gerber and Green (2005) alang sa debate mahitungod sa implementasyon sa usa ka komplikado nga eksperimento uma bahin sa voting. Kohavi et al. (2012) ug Kohavi et al. (2013) paghatag og usa ka pasiuna ngadto sa mga hagit sa sal balido sa online nga mga eksperimento uma.

Usa ka mayor nga kabalaka uban sa internal nga balido ang mga problema uban sa randomization. Usa ka paagi sa kalagmitan makamatikod sa mga problema uban sa randomization mao ang pagtandi sa pagtambal ug pagpugong sa mga grupo sa makitang mga kinaiya. Kini nga matang sa pagtandi mao ang gitawag nga usa ka balanse check. Tan-awa ang Hansen and Bowers (2008) alang sa usa ka statistical nga paagi sa pagbalanse sa mga tseke, ug tan-awa Mutz and Pemantle (2015) alang sa mga kabalaka mahitungod sa mga tseke balanse. Kay sa panig-ingnan, sa paggamit sa usa ka timbangan check Allcott (2011) nga makaplagan nga adunay pipila ka mga ebidensiya nga ang randomization wala gipatuman sa husto sa tulo ka sa mga eksperimento sa pipila sa mga eksperimento OPower (tan-awa sa Table 2; mga dapit 2, 6, ug 8). Alang sa uban nga mga pamaagi, tan-awa Imbens and Rubin (2015) , Kapitulo 21.

Ang ubang mga mayor nga mga kabalaka nga may kalabutan sa internal nga balido mao ang: 1) usa ka-Palaro non-pagsunod, diin dili tanan diha sa grupo pagtambal sa tinuod nakadawat sa pagtambal, 2) duha ka midapig non-pagsunod, diin dili tanan diha sa grupo pagtambal magadawat sa pagtambal ug ang uban mga tawo sa pagpugong sa grupo makadawat sa pagtambal, 3) nga pagluwat sa trabaho, diin resulta dili masukod alang sa pipila partisipante, ug 4) pagpanghilabot, diin ang mga pagtambal mobuhagay gikan sa mga tawo sa kahimtang pagtambal sa mga tawo diha sa mga kahimtang sa kontrol. Tan-awa ang Gerber and Green (2012) Kapitulo 5, 6, 7, ug 8 alang sa dugang sa matag usa niini nga mga isyu.

Alang sa dugang kabalido maghimo og, tan-awa Westen and Rosenthal (2003) , ug alang sa labaw pa sa kabalido maghimo og sa dagkong mga tinubdan data, Lazer (2015) ug sa Kapitulo 2 sini nga libro.

Usa ka bahin sa gawas nga balido mao ang kahimtang diin ang usa ka intervention nga gisulayan. Allcott (2015) naghatag og usa ka mag-amping nga theoretical ug empirical pagtambal sa pagpili site pagpihig. Kini nga isyu nga gihisgotan usab sa Deaton (2010) . Dugang pa sa maawat sa daghang mga dapit, ang Home Energy Report interbensyon usab nga bulag gitun-an sa daghang mga grupo sa research (pananglitan, Ayres, Raseman, and Shih (2013) ).

• Heterogeneity sa mga epekto sa pagtambal (Section 4.4.2)

Kay sa usa ka maayo kaayo nga kinatibuk-ang pagpasabut sa heterogeneity sa epekto sa pagtambal sa uma eksperimento, tan-awa ang Kapitulo 12 sa Gerber and Green (2012) . Kay mga pasiuna sa heterogeneity sa epekto sa pagtambal sa medikal nga mga pagsulay, tan-awa Kent and Hayward (2007) , Longford (1999) , ug ang Kravitz, Duan, and Braslow (2004) . Heterogeneity sa epekto sa pagtambal sa kinatibuk-focus sa mga kalainan base sa mga kinaiya pre-pagtambal. Kon kamo interesado sa heterogeneity base sa resulta sa post-pagtambal, nan mas komplikado approachs gikinahanglan sama sa prinsipal stratification (Frangakis and Rubin 2002) ; tan-awa ang Page et al. (2015) alang sa usa ka review.

Daghang mga tigdukiduki Gibanabana sa heterogeneity sa epekto sa pagtambal gamit ang linear pagbalik, apan mas bag-o nga mga pamaagi mosalig sa makina sa pagkat-on, alang sa panig-ingnan Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ug ang Athey and Imbens (2016a) .

Adunay pipila ka mga pagduhaduha mahitungod sa mga findings sa heterogeneity sa epekto tungod sa daghang mga problema sa pagtandi ug "pagpangisda." Adunay usa ka matang sa statistical pamaagi nga makatabang sa pakigpulong sa mga kabalaka mahitungod sa daghang mga pagtandi (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Usa ka paagi sa mga kabalaka mahitungod sa "pagpangisda" mao ang pre-registration, nga mahimong mas komon sa psychology (Nosek and Lakens 2014) , sa politika siyensiya (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ug economics (Olken 2015) .

Sa pagtuon sa Costa and Kahn (2013) lamang mahitungod sa katunga sa mga panimalay sa mga eksperimento makahimo sa nalambigit sa sa demographic impormasyon. Magbabasa interesado diha sa mga detalye ug posible nga mga problema uban sa pagtuki niini nga kinahanglan nga nagtumong sa orihinal nga papel.

• Mekanismo (Seksyon 4.4.3)

Mekanismo kaayo importante, apan sila nga mahimong lisud kaayo sa pagtuon. Research mahitungod sa mga mekanismo pag-ayo nga may kalabutan sa pagtuon sa tigpataliwala sa sikolohiya (apan tan-awa usab sa VanderWeele (2009) alang sa usa ka tukma nga pagtandi tali sa duha ka mga ideya). Statistical pamaagi sa pagpangita og mga mekanismo, sama sa nga paagi naugmad sa Baron and Kenny (1986) , mao ang mga na komon. Ikasubo, kini turns nga ang mga pamaagi magdepende sa lig-on nga panghunahuna (Bullock, Green, and Ha 2010) ug nag-antus sa diha nga may daghang mga mekanismo, ingon sa usa tingali magdahom sa daghang mga sitwasyon (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ug sa Imai and Yamamoto (2013) sa paghalad sa pipila naugmad nga statistical nga mga pamaagi. Dugang pa, VanderWeele (2015) nagtanyag sa usa ka basahon-ang gitas-on sa pagtambal sa usa ka gidaghanon sa mga importante nga mga resulta, lakip na sa usa ka komprehensibo nga paagi sa pagkasensitibo pagtuki.

Ang usa ka linain nga paagi sa nag-focus sa mga eksperimento nga misulay sa pagmaniobra sa mga mekanismo direkta (pananglitan, sa paghatag sa mga marinero bitamina C). Ikasubo, sa daghang mga kahimtang nga sosyal nga siyensiya adunay mga sagad daghang mga mekanismo ug kini mao ang lisud nga sa pagdesinyo mga tambal nga-usab sa usa nga walay pag-usab sa sa uban. Ang ubang mga pamaagi sa experimentally pag-usab mekanismo nga gihulagway diha sa Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ug ang Pirlott and MacKinnon (2016) .

Sa katapusan, mga mekanismo usab sa usa ka taas nga kasaysayan sa pilosopiya sa siyensiya ingon sa gihulagway sa Hedström and Ylikoski (2010) .

• Pinaagi sa paggamit sa kasamtangan nga mga dapit (Section 4.5.1.1)

Alang sa dugang sa paggamit sa sulat pagtuon ug audit mga pagtuon sa pagsukod sa diskriminasyon makakita Pager (2007) .

• Sa pagtukod sa imong kaugalingon nga eksperimento (Section 4.5.1.2)

Ang labing komon nga paagi sa pag-recruit ang mga partisipante sa mga eksperimento nga sa pagtukod kaninyo mao Amazon Mechanical Turk (MTurk). Tungod kay MTurk kaamgid bahin sa tradisyonal nga lab eksperimento-pagbayad sa mga tawo sa pagkompleto sa buluhaton nga dili nila buhaton alang sa free-daghan nga mga tigdukiduki nagsugod na sa paggamit sa Turkers (ang mga trabahante sa MTurk) ingon partisipante sa tawhanong mga sakop eksperimento nga miresulta sa mas paspas ug mas barato koleksyon nga data kay sa tradisyonal nga sa-campus laboratory eksperimento (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Ang pinakadako nga kusog sa mga eksperimento sa mga partisipante recruit gikan sa MTurk mga logistical: motugot sila tigdukiduki sa pag-recruit sa mga partisipante sa madali ug ingon sa gikinahanglan. Samtang ang lab eksperimento mahimo semana sa pagdagan ug eksperimento mahimo bulan aron sa-up, ang mga eksperimento sa mga partisipante recruit gikan sa MTurk mahimong modagan sa mga adlaw. Kay sa panig-ingnan, Berinsky, Huber, and Lenz (2012) makahimo sa recruit 400 mga sakop sa usa ka adlaw sa pag-apil sa usa ka 8 minutos nga eksperimento. Dugang pa, kini nga mga partisipante mahimong recruit alang sa halos sa bisan unsa nga katuyoan (lakip na ang survey ug masa kolaborasyon, ingon sa gihisgotan sa Kapitulo 3 ug 5). Kini nga kasayon ​​sa recruitment nagpasabot nga tigdukiduki mahimong modagan han-ay sa mga may kalabutan sa mga eksperimento sa kusog nga succession.

Sa wala pa pagrekrut partisipante gikan sa MTurk alang sa imong kaugalingon nga mga eksperimento, adunay upat ka importante nga mga butang nga masayud. Una, daghang mga tigdukiduki nga adunay usa ka non-piho nga pagduhaduha sa mga eksperimento nga naglakip sa Turkers. Tungod kay kini nga pagduhaduha dili piho nga, kini mao ang lisud nga sa pagsumpo sa ebidensiya. Apan, human sa pipila ka tuig sa mga pagtuon sa paggamit sa Turkers, kita karon makaingon nga kini nga pagduhaduha dili ilabi na sa gikinahanglan. Adunay daghan nga mga pagtuon sa pagtandi ayo sa populasyon sa Turkers sa ubang mga populasyon ug sa daghang mga pagtuon sa pagtandi sa mga resulta sa mga eksperimento sa Turkers sa mga resulta gikan sa ubang populasyon. Gihatag ang tanan niini nga buhat, sa akong hunahuna nga ang labing maayo nga paagi alang kaninyo sa paghunahuna mahitungod niini mao nga ang Turkers mao ang usa ka makatarunganon nga convenience sample, sama sa mga estudyante, apan gamay nga mas nagkalain-lain nga (Berinsky, Huber, and Lenz 2012) . Busa, sama sa mga estudyante mao ang usa ka makatarunganon nga populasyon alang sa pipila apan dili ang tanan eksperimento research, Turkers mao ang usa ka makatarunganon nga populasyon alang sa pipila apan dili ang tanan research. Kon kamo moadto sa pagtrabaho uban sa Turkers, nan kini makahimo sa pagbati sa pagbasa sa daghan niini nga mga comparative mga pagtuon ug pagsabut sa ilang mga nuances.

Ikaduha, ang mga tigdukiduki nga og labing maayo nga-mga buhat alang sa pagdugang sa internal nga kabalido sa Turk eksperimento, ug kamo kinahanglan nga makakat-on ug mosunod niini nga mga labing maayo nga-mga buhat (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Pananglitan, ang mga tigdukiduki sa paggamit sa Turkers giawhag sa paggamit sa screeners aron sa pagpapahawa mapinasagdanong mga partisipante (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (apan tan-awa usab DJ Hauser and Schwarz (2015b) ug DJ Hauser and Schwarz (2015a) ). Kon kamo dili kuhaa mapinasagdanong mga partisipante, unya sa bisan unsa epekto sa pagtambal mahimong gihugasan pinaagi kasaba gipaila gikan sa mapinasagdanong mga partisipante, ug diha sa buhat sa gidaghanon sa mga mapinasagdanong partisipante mahimong malig. Sa eksperimento sa Huber ug kaubanan (2012) sa mga 30% sa mga partisipante napakyas nag-unang mga pagtagad screeners. Laing problema nga komon sa Turkers mao ang non-kasinatian partisipante (Chandler et al. 2015) .

Ikatulo, paryente sa pipila sa ubang mga matang sa mga digital eksperimento, MTurk eksperimento dili scale; Stewart et al. (2015) nagbanabana nga sa bisan unsa nga panahon adunay mga lamang mahitungod sa 7,000 ka mga tawo sa MTurk.

Sa kataposan, kamo kinahanglan nga masayud nga MTurk mao ang usa ka komunidad uban sa iyang kaugalingon nga mga lagda ug mga lagda (Mason and Suri 2012) . Sa samang paagi nga kamo mosulay sa pagpangita sa bahin sa kultura sa usa ka nasud diin kamo moadto sa pagdagan sa inyong mga eksperimento, kamo kinahanglan mosulay sa pagpangita sa dugang bahin sa kultura ug lagda sa Turkers (Salehi et al. 2015) . Ug, kamo kinahanglan nga masayud nga ang mga Turkers nga sa paghisgot mahitungod sa imong mga eksperimento kon inyong buhaton sa usa ka butang nga dili angay o dili maayo nga (Gray et al. 2016) .

MTurk mao ang usa ka kaayo nga sayon ​​nga paagi sa pag-recruit sa mga partisipante sa imong mga eksperimento, kong sila mga lab-sama sa, sama sa Huber, Hill, and Lenz (2012) , o labaw pa nga uma-sama sa, sama sa Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ug ang Mao et al. (2016) .

• Sa pagtukod sa imong kaugalingon nga produkto (Section 4.5.1.3)

Kon naghunahuna sa pagsulay sa paghimo sa inyong kaugalingon nga produkto, sa rekomend sa ako nga imong basahon ang tambag nga gitanyag sa mga MovieLens nga grupo sa Harper and Konstan (2015) . Ang usa ka yawe nga pagsabot gikan sa ilang kasinatian mao nga alang sa matag malampuson nga proyekto adunay daghan, daghan nga mga kapakyasan. Kay sa panig-ingnan, ang mga MovieLens grupo gilusad uban pang mga produkto sama sa GopherAnswers nga bug-os nga kapakyasan (Harper and Konstan 2015) . Lain nga ehemplo sa usa ka tigdukiduki napakyas samtang misulay sa pagtukod sa usa ka produkto mao ang pagsulay Edward Castronova sa pagtukod sa usa ka online nga dula nga gitawag Arden. Bisan pa sa $ 250,000 sa pondo, ang proyekto mao ang usa ka kapakyasan (Baker 2008) . Mga proyekto nga sama sa GopherAnswers ug Arden mao ang Subo labi pa nga komon kay mga proyekto sama sa MovieLens. Sa kataposan, sa diha nga ako miingon nga ako wala masayud sa bisan unsa nga lain nga mga tigdukiduki nga malampuson nga nagtukod produkto alang sa balik-balik nga eksperimento dinhi ang akong mga criteria: 1) mga partisipante sa paggamit sa mga produkto tungod sa unsa kini naghatag kanila (pananglitan, sila wala mibayad ug sila dili mga boluntaryo pagtabang sa siyensiya) ug 2) sa mga produkto nga gigamit alang sa labaw pa kay sa usa ka lahi nga eksperimento (ie, dili sa mao usab nga eksperimento daghang mga panahon uban sa lain-laing mga partisipante linaw). Kon kamo mahibalo sa ubang mga ehemplo, palihug ayaw itugot nga ako mahibalo.

• Partner uban sa mga gamhanan (Section 4.5.2)

Ako nakadungog sa ideya ni Pasteur quadrant gihisgotan kanunay sa tech nga mga kompanya, ug kini makatabang organisar paningkamot research sa Google (Spector, Norvig, and Petrov 2012) .

Ulipon ug mga kauban 'sa pagtuon (2012) misulay usab sa pag-ila sa epekto sa niini nga mga pagtambal sa mga higala sa mga tawo nga nakadawat sila. Tungod sa disenyo sa eksperimento, kini nga mga spillovers lisod namatikdan hinlo; interesado magbabasa kinahanglan nga makakita sa Bond et al. (2012) alang sa usa ka labaw nga bug-os nga panaghisgot. Eksperimento Kini mao ang bahin sa usa ka taas nga tradisyon sa mga eksperimento sa politikal nga siyensiya sa paningkamot sa pagdasig sa pagbotar (Green and Gerber 2015) . Kini nga mga get-gikan-sa-boto eksperimento komon sa bahin tungod kay sila ni Pasteur quadrant. Nga mao, adunay daghang mga tawo nga nadasig sa pagdugang sa pagbotar ug pagbotar mahimong usa ka makapaikag nga kinaiya sa pagsulay nga mas kinatibuk-ang mga teoriya bahin sa kinaiya kausaban ug sosyal nga impluwensya.

Ang ubang mga tigdukiduki nga gihatag nga tambag mahitungod sa nagaagay nga eksperimento uban sa mga organisasyon partner sama sa partido sa politika, NGOs, ug mga negosyo (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Ang uban naghalad tambag kon sa unsang paagi partnerships uban sa mga organisasyon mahimo epekto sa mga laraw sa research (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership mahimo usab nga modala ngadto sa ethical nga mga pangutana (Humphreys 2015; Nickerson and Hyde 2016) .

• Design tambag (Section 4.6)

Kon kamo moadto sa paghimo og usa ka pagtuki sa plano sa wala pa sa nagaagay nga sa imong eksperimento, mosugyot ko nga kamo magsugod pinaagi sa pagbasa sa mga sumbanan sa pagreport. Ang asawa (Consolidated Standard Reporting sa mga Pagsulay) mga sumbanan nga naugmad sa medisina (Schulz et al. 2010) ug giusab alang sa social research (Mayo-Wilson et al. 2013) . Usa ka may kalabutan nga hugpong sa mga mga sumbanan nga naugmad sa mga editor sa Journal eksperimento Political Science (Gerber et al. 2014) (tan-awa usab Mutz and Pemantle (2015) ug Gerber et al. (2015) ). Sa katapusan, sa pagtaho sa mga giya nga naugmad sa psychology (Group 2008) , ug tan-awa usab sa Simmons, Nelson, and Simonsohn (2011) .

Kon paghimo kaninyo nga usa ka plano sa pagtuki angay nimong tagdon pre-pagparehistro niini tungod kay pre-registration sa pagdugang sa pagsalig nga ang uban diha sa inyong mga resulta. Dugang pa, kon kamo nagtrabaho uban sa usa ka partner, kini limitahan sa katakos sa imong partner sa pag-usab sa pagtuki human sa pagtan-aw sa mga resulta. Pre-registration nga mahimong mas komon sa psychology (Nosek and Lakens 2014) , sa politika siyensiya (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ug economics (Olken 2015) .

Samtang sa paghimo sa inyong mga pre-pagtuki plano nga imong kinahanglan nga nahibalo nga ang ubang mga tigdukiduki usab sa paggamit sa pagbalik ug may kalabutan nga mga pamaagi aron sa pagpalambo sa tukma sa gibanabana pagtambal epekto, ug adunay pipila ka mga debate bahin sa niini nga paagi: Freedman (2008) , Lin (2013) , ug Berk et al. (2013) ; tan-awa ang Bloniarz et al. (2016) alang sa dugang nga impormasyon.

Design tambag ilabi alang sa online eksperimento kapatagan usab gipresentar sa Konstan and Chen (2007) ug Chen and Konstan (2015) .

• Paghimo zero baryable data sa gasto (Section 4.6.1)

Alang sa dugang sa mga eksperimento MusicLab, tan-awa Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ug Salganik (2007) . Alang sa dugang pa winner-kuhaon-sa tanan nga mga merkado, tan-awa Frank and Cook (1996) . Alang sa dugang pa untangling luck ug kahanas nga mas kinatibuk-an, tan-awa ang Mauboussin (2012) , Watts (2012) , ug Frank (2016) .

Adunay laing pamaagi sa pagwagtang sa pagbayad partisipante nga mga tigdukiduki kinahanglan mogamit sa uban sa Pasidaan: pagrekluta. Sa daghang online eksperimento uma partisipante batakan draft sa mga eksperimento ug dili compensated. Ehemplo sa kini nga paagi naglakip sa Restivo ug van de Rijt ni (2012) eksperimento sa ganti sa Wikipedya ug Bond ug sa kauban sa trabaho (2012) eksperimento sa pagdasig sa mga tawo sa pagbotar. Kini nga mga mga eksperimento dili gayud zero baryable gasto, sila adunay zero baryable gasto sa mga tigdukiduki. Bisan tuod ang mga gasto sa daghan niini nga mga eksperimento mao ang hilabihan ka gamay nga sa matag partisipante, gamay nga gasto nga gipahamtang sa usa ka dakong gidaghanon sa mga partisipante makadugang sa madali. Tigdukiduki nga nagdagan kaylap nga online eksperimento sa kasagaran nagapakamatarung sa kamahinungdanon sa gagmay nga mga gibanabana nga epekto sa pagtambal pinaagi sa pag-ingon nga kini nga mga gagmay nga mga epekto mahimong importante sa diha nga apply ngadto sa daghang mga tawo. Ang eksaktong sama nga panghunahuna magamit sa gasto nga mga tigdukiduki ipatuman sa mga partisipante. Kon ang imong mga eksperimento hinungdan sa sa usa ka milyon nga mga tawo sa pag-usik sa usa ka minuto, ang eksperimento mao ang dili kaayo makadaot sa bisan unsa nga partikular nga tawo, apan sa hiusa kini mausik halos duha ka tuig sa panahon.

Laing paagi sa pagmugna zero baryable gasto pagbayad sa mga partisipante mao ang sa paggamit sa usa ka loterya, usa ka paagi nga gigamit usab sa survey research (Halpern et al. 2011) . Sa katapusan, alang sa dugang mahitungod sa pagdisenyog mga makalingaw user-kasinatian sa pagtan-aw Toomim et al. (2011) .

• Pulihi, Pauswaga, ug Pagpakunhod (Section 4.6.2)

Dinhi mao ang mga orihinal nga kahulugan sa tulo ka R, gikan sa Russell and Burch (1959) :

"Replacement nagpasabot sa pagpuli alang sa panimuot buhi sa mas taas nga mga mananap sa insentient nga materyal. Pagkunhod nagpasabot pagkunhod sa gidaghanon sa mga mananap nga gigamit sa pag-angkon sa impormasyon sa usa ka gihatag nga kantidad ug tukma. Pagkalunsay nagpasabot sa bisan unsa nga pagkunhod sa mga insidente o ang pagkabangis sa dili makatawhanong pamaagi nga gigamit sa mga mananap nga adunay pa gamiton. "

Ang tulo ka R nga ako mosugyot dili mopatigbabaw sa mga pamatasan nga mga baruganan nga gihulagway sa Kapitulo 6. Hinunoa, sila sa usa ka labaw mipahayag nga bersyon sa usa sa mga baruganan-kaayohan-ilabi alang sa kahimtang sa tawhanong mga eksperimento.

Sa diha nga naghunahuna sa Emosyonal nga pagtakod, adunay tulo ka non-ethical isyu aron sa pagbantay sa hunahuna sa diha nga paghubad niini nga eksperimento. Una, kini mao ang dili tin-aw kon sa unsang paagi nga ang aktuwal nga mga detalye sa eksperimento Sumpaysumpaya ngadto sa theoretical claims; sa lain nga mga pulong, adunay mga pangutana mahitungod sa kabalido maghimo og. Kini mao ang dili tin-aw nga ang mga positibo ug negatibo nga importante nga pulong mao ang tinuod nga usa ka maayo nga timailhan sa emosyonal nga kahimtang sa mga partisipante tungod kay 1) kini dili tin-aw nga ang mga pulong nga ang mga tawo post mao ang usa ka maayo nga timailhan sa ilang mga emosyon ug 2) nga kini mao ang dili tin-aw nga sa partikular nga sentimento pagtuki teknik nga ang mga tigdukiduki nga gigamit mao ang makahimo sa reliably gihunahuna emosyon (Beasley and Mason 2015; Panger 2016) . Sa laing mga pulong, adunay mahimong usa ka dili maayo nga sukod sa usa ka mapihigon signal. Ikaduha, ang mga disenyo ug pagtuki sa mga eksperimento nagsulti kanato sa bisan unsa mahitungod sa nga labing epekto (ie, walay pagtuki sa heterogeneity sa epekto sa pagtambal) ug unsa ang mekanismo mahimo. Sa kini nga kaso, ang mga tigdukiduki may daghang mga impormasyon mahitungod sa mga partisipante, apan sila esensya giisip nga Widgets sa pagtuki. Ikatulo, ang mga epekto gidak-on sa eksperimento niining gamay; sa kalainan sa taliwala sa mga pagtambal ug pagkontrolar sa mga kahimtang mao ang mahitungod sa 1 sa 1,000 ka mga pulong. Sa ilang papel, Kramer ug mga kauban sa paghimo sa kaso nga usa ka epekto sa niini nga gidak-on mao ang importante tungod kay ang gatusan ka mga minilyon sa mga tawo access sa ilang Balita Pakan-a ang matag adlaw. Sa laing mga pulong, makiglalis sila nga bisan epekto nga mga gagmay sa alang sa matag tawo nga sila mga dagko nga diha sa hiusa. Bisan kon ikaw sa pagdawat niini nga argumento, kini mao ang dili pa tin-aw kon ang usa ka epekto sa niini nga gidak-on mao ang importante mahitungod sa labaw nga kinatibuk-ang siyentipikanhong pangutana mahitungod sa emosyonal nga pagtakod. Alang sa dugang sa mga mga sitwasyon diin ang gagmay nga mga epekto importante makakita Prentice and Miller (1992) .

Sa termino sa unang R (Replacement), nga nagtandi sa Emosyonal nga pagtakod eksperimento (Kramer, Guillory, and Hancock 2014) ug sa emosyonal nga pagtakod natural nga eksperimento (Coviello et al. 2014) nagtanyag sa pipila ka mga kinatibuk-ang mga leksyon mahitungod sa trade-offs nalangkit sa pagbalhin gikan sa eksperimento sa natural nga eksperimento (ug uban pang mga pamaagi sama sa matching nga pagsulay sa pagbanabana eksperimento sa non-eksperimento data, tan-awa ang Kapitulo 2). Dugang pa sa mga ethical benepisyo, sa pagbalhin gikan sa eksperimento sa mga dili-eksperimento pagtuon usab makapaarang tigdukiduki sa pagtuon sa mga paagi sa pagtambal nga sila eksaktong pagtimbang-timbang dili sa pagpadala og mga. Kini nga mga pamatasan ug logistical benepisyo sa usa ka gasto, bisan pa niana. Uban sa natural nga mga eksperimento tigdukiduki nga adunay dili kaayo kontrol sa mga butang sama sa recruitment sa mga partisipante, randomization, ug sa kinaiyahan sa sa pagtambal. Pananglitan, usa ka limitasyon sa ulan ingon sa usa ka pagtambal mao nga ang duha kini nagdugang sa kamaayo ug pagminus, mga pagmobu negativity. Sa eksperimento nga pagtuon, Apan, Kramer ug kaubanan nakahimo sa adjust kamaayo ug negativity kagawasan, gawas.

Ang partikular nga pamaagi nga gigamit sa Coviello et al. (2014) ang dugang pa nga dugang pasabot sa Coviello, Fowler, and Franceschetti (2014) . Alang sa usa ka pasiuna sa instrumento nga baryable makakita Angrist and Pischke (2009) (dili kaayo pormal) o Angrist, Imbens, and Rubin (1996) (mas pormal). Kay sa usa ka nagduhaduha pagtimbangtimbang sa instrumento nga baryable tan-awa ang Deaton (2010) , ug alang sa usa ka pasiuna sa instrumento baryable sa huyang nga mga tulonggon (ulan mao ang usa ka huyang nga instrumento), tan-awa Murray (2006) .

Dugang sa kasagaran, ang usa ka maayo nga pasiuna sa natural nga eksperimento mao ang Dunning (2012) , ug ang Rosenbaum (2002) , Rosenbaum (2009) , ug ang Shadish, Cook, and Campbell (2001) sa paghalad sa maayo nga mga ideya mahitungod sa pagbana-bana causal epekto nga walay mga eksperimento.

Sa termino sa ikaduhang R (pagkalunsay), adunay siyentipikanhong ug logistical trade-offs sa diha nga naghunahuna sa usab-usab nga sa disenyo sa Emosyonal nga pagtakod sa ali haligi sa boosting mga haligi. Pananglitan, kini mahimo nga ang kaso nga ang teknikal nga pagpatuman sa Feed Balita kini nga mao ang kinadak mas sayon ​​sa pagbuhat sa usa ka eksperimento uban sa ali haligi kay sa usa ka eksperimento uban sa boosting haligi (timan-i nga ang usa ka eksperimento uban sa ali haligi mahimong ipatuman ingon nga usa ka layer sa ibabaw sa sistema sa News Feed nga walay bisan unsa nga panginahanglan alang sa mga kausaban sa mga hinungdan nga sistema). Siyensiya, bisan pa niana, ang teoriya gitumong sa eksperimento wala tin-aw nga mosugyot og usa ka disenyo sa ibabaw sa uban nga mga.

Ikasubo, dili ako nahibalo sa malig-sa wala pa research bahin sa paryente maayo nga buhat sa ali ug sa boosting sulod sa Feed Balita. Usab, wala ako nakakita sa daghan nga research mahitungod sa paghashas sa pagtambal aron sa paghimo kanila nga dili kaayo makadaot nga; sa usa ka gawas mao ang Jones and Feamster (2015) , nga giisip sa mga kaso sa sukod sa Internet censorship (sa usa ka hilisgutan nga akong hisgutan sa Kapitulo 6 sa relasyon ngadto sa encore sa pagtuon (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Sa termino sa ikatulong R (Reduction), usa ka maayo nga pasiuna sa tradisyonal nga pagtuki nga gahum mao ang Cohen (1988) . Pre-pagtambal covariates mahimong naglakip sa design stage ug sa pagtuki yugto sa mga eksperimento; Kapitulo 4 sa Gerber and Green (2012) naghatag og usa ka maayo nga pasiuna sa mga pamaagi, ug ang Casella (2008) naghatag og usa ka labaw pa sa-giladmon pagtambal. Mga teknik nga paggamit sa niini nga impormasyon pre-pagtambal sa randomization kasagaran gitawag sa bisan gibabagan sa eksperimento mga laraw o stratified eksperimento mga laraw (ang terminolohiya nga wala gigamit sa kanunay sa tibuok mga komunidad); kini nga mga teknik sa pag-ayo nga may kalabutan sa stratified sampling teknik sa gihisgotan sa Kapitulo 3. Tan-awa sa Higgins, Sävje, and Sekhon (2016) alang sa dugang sa paggamit niini nga mga disenyo sa kaylap nga eksperimento. Pre-pagtambal covariates mahimo usab nga gilakip sa pagtuki stage. McKenzie (2012) Isaysay ang kalainan-sa-mga kalainan pamaagi sa pag-analisar sa eksperimento sa mas dako nga detalye. Tan-awa ang Carneiro, Lee, and Wilhelm (2016) alang sa dugang trade-offs sa taliwala sa lain-laing mga pamaagi sa pagdugang sa katukma sa mga banabana sa mga epekto sa pagtambal. Kataposan, sa dihang ang paghukom kon sa pagsulay sa pag-apil covariates pre-pagtambal sa disenyo o pagtuki stage (o ang duha), adunay pipila ka mga butang nga tagdon. Sa usa ka kahimtang diin ang mga tigdukiduki nga gusto sa pagpakita nga sila dili "pagpangisda" (Humphreys, Sierra, and Windt 2013) , nga naggamit sa covariates pre-pagtambal sa design stage makatabang (Higgins, Sävje, and Sekhon 2016) . Sa mga sitwasyon diin ang mga partisipante moabot sequentially, ilabi na sa online eksperimento, sa paggamit sa impormasyon sa mga pre-pagtambal sa design stage mahimong lisud nga eksaktong pagtimbang-timbang, tan-awa alang sa panig-ingnan Xie and Aurisset (2016) .

Kini mao ang bili sa pagdugang sa usa ka gamay sa panan kon nganong kalainan-sa-mga kalainan mahimong mas epektibo pa kay sa kalainan-sa-paagi. Daghang mga online resulta adunay taas kaayo nga kalainan (tan-awa sa pananglitan, Lewis and Rao (2015) ug sa Lamb et al. (2015) ) ug medyo lig-on sa panahon. Sa kini nga kaso, ang mga kausaban score adunay kinadak mas gamay pakigbingkil, sa pagdugang sa gahum sa statistical pagsulay. Usa sa rason niini nga miduol dili gigamit kanunay mao nga sa wala pa ang digital edad kini dili komon nga adunay resulta sa pre-pagtambal. Ang mas konkreto nga paagi sa paghunahuna mahitungod niini mao ang sa paghunahuna sa usa ka eksperimento sa pagsukod sa kon ang usa ka piho nga ehersisyo hinungdan sa gibug-aton sa pagkawala. Kon imong buhaton ang usa ka kalainan-sa-paagi nga pamaagi, ang imong banabana adunay pagkamabalhinon nga gikan sa pagkamabalhinon sa mga bato sa timbangan sa populasyon. Kon imong buhaton ang usa ka kalainan-sa-kalainan nga paagi, hinoon, nga ang natural nga nahitabo kalainan sa mga bato sa timbangan gets gikuha ug kamo nga mas sayon ​​nga namatikdan sa usa ka kalainan tungod sa pagtambal.

Usa ka importante nga paagi sa pagpakunhod sa gidaghanon sa mga partisipante diha sa imong eksperimento mao ang sa pagpahigayon sa usa ka gahum pagtuki, nga Kramer ug mga kauban nga gibuhat base sa gidak-on sa epekto nga nakita gikan sa mga natural nga eksperimento sa Coviello et al. (2014) o sa sayo pa sa dili-eksperimento research pinaagi sa Kramer (2012) (sa pagkatinuod kini mao ang mga kalihokan sa katapusan sa niini nga kapitulo). Matikdi nga kini nga paggamit sa gahum sa pagtuki mao ang usa ka gamay sa lain-laing pa kay sa tipikal nga. Sa Analog edad, tigdukiduki sa kinatibuk-ang gibuhat sa gahum pagtuki aron sa pagsiguro nga ang ilang pagtuon mao ang dili kaayo gamay nga (ie, sa ilalum sa-powered). Karon, bisan pa niana, ang mga tigdukiduki kinahanglan mobuhat sa gahum pagtuki aron maseguro nga ang ilang pagtuon mao ang dili kaayo dako nga (ie, sa ibabaw sa-powered).

Sa katapusan, ako giisip nga sa pagdugang sa usa ka ikaupat nga R: Repurpose. Nga mao, kon ang mga tigdukiduki nakakaplag sa ilang kaugalingon uban sa dugang nga eksperimento sa data kay sila kinahanglan aron sa pagtubag sa ilang mga orihinal nga pangutana research, sila kinahanglan nga repurpose sa mga data sa pagpangutana bag-ong mga nga mga pangutana. Pananglitan, hunahunaa nga Kramer ug mga kauban nga gigamit sa usa ka kalainan-sa-mga kalainan estimator ug nakakaplag sa ilang kaugalingon uban sa dugang nga mga datos kay sa gikinahanglan aron sa pagtubag sa ilang mga research nga pangutana. Imbes dili sa paggamit sa data ngadto sa bug-os nga gidak-on, sila nagtuon sa mga gidak-on sa epekto sama sa usa ka function sa pre-pagtambal emosyonal nga pagpahayag. Sama nga Schultz et al. (2007) nga makita nga ang epekto sa pagtambal mao ang lain-laing mga alang sa kahayag ug bug-at nga mga tiggamit, tingali ang mga epekto sa Feed News lahi alang sa mga tawo nga na-atiman sa pag-post malipayon (o masulob-on) nga mga mensahe. Repurposing mahimong mosangpot sa "pagpangisda" (Humphreys, Sierra, and Windt 2013) ug sa "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , apan kini kadaghanan addressable uban sa usa ka kombinasyon sa matinud-anon nga pagreport (Simmons, Nelson, and Simonsohn 2011) , pre-registration (Humphreys, Sierra, and Windt 2013) , ug mga pamaagi sa makina sa pagkat-on nga misulay sa paglikay sa sa-angay.