weider Kommentaire

Dësen Deel ass entworf als Referenz gebraucht ginn, amplaz als eng Geschicht gelies ze ginn.

• Aféierung (Section 4,1)

Froen iwwer causality am sozialen Fuerschung sinn dacks komplex a komplizéiert. Fir de Contraire Approche zu causality op causal Grafike baséiert, gesinn Pearl (2009) , a fir de Contraire Approche baséiert op Potential Resultater, gesinn Imbens and Rubin (2015) (an d'technesch wëll zu dësem Kapitel). Fir e Verglach tëscht dësen zwou Approche, gesinn Morgan and Winship (2014) . Fir eng formell Approche engem confounder ze definéieren, gesinn VanderWeele and Shpitser (2013) .

Am Kapitel, hunn ech wat wéi eng hell Linn tëscht eis ëmmer hu causal Schätzunge vun experminteller an Net-Experimenter Donnéeën ze maachen. An der Realitéit, mengen ech, datt den Ënnerscheed ass blurrier. Zum Beispill, acceptéiert jiddereen dass fëmmen bewierkt Kriibs obwuel mer ni eng zoufälleg kontrolléiert Experimenter gemaach hunn, datt Leit gefëmmt Kräften. Fir excellent Buch Längt Traitementer op nees causal Schätzunge vun Net-experimentell Date gesinn Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , an Dunning (2012) .

Kapitelen 1 an 2 vun Freedman, Pisani, and Purves (2007) bidden eng kloer Aféierung an d'Differenzen tëscht Experimenter, kontrolléiert Experimenter, an zoufälleg kontrolléiert Experimenter.

Manzi (2012) gëtt eng spannend an liesbar Aféierung an der philosophescher a statistesch Verankerunge vun zoufälleg kontrolléiert Experimenter. Et gëtt och interessant real-Welt Beispiller vun der Muecht vun trotzdeem am Betrib.

• Wat sinn Experiment? (Sektioun 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) gudde virgestallt statistesch Aspekter vun experminteller Design an Analyse. Weider, sinn do excellent Behandlungen vun der Notzung vun Experimenter a vill verschiddene Beräicher: Wirtschaft (Bardsley et al. 2009) , Dées (Willer and Walker 2007; Jackson and Cox 2013) , Psychologie (Aronson et al. 1989) , Politesch Wëssenschaft (Morton and Williams 2010) , an der Sozialpolitik (Glennerster and Takavarasha 2013) .

D'Bedeitung vum Participant Rekrutement (zB, probéieren) ass oft ënner-camp vun experminteller Fuerschung. Allerdéngs, wann den Effet vun der Behandlung vun der Bevëlkerung heterogen ass, dann ass och direkt probéieren kritesch. Longford (1999) mécht kloer dësem Punkt, wou hie fir Fuerscher Affekoten vun Experimenter wéi enger Populatioun Ëmfro denken mat aner probéieren.

• Zwou Dimensioune vun Experiment: Labo-Terrain an Analog-digital (Section 4,3)

Déi seet dass ech tëschent Labo an Terrain Experimenter presentéiert ass e bësse vereinfacht. An Tatsaach, hunn aner Fuerscher méi detailléierte wiisst, besonnesch mannste proposéiert, datt déi verschidde Forme vu Terrain Experiment separat (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Weider, sinn et zwee aner Zorte vun den sozialen Wëssenschaftler standing Experimenter net ouni Géigewier an de Labo an Terrain seet fit:. Äntwerte alternative Versioune vun der Ëmfro Experimenter a sozial Experimenter Survey Experimenter si Experimenter der Infrastruktur vun bestehend Ëmfroen benotzt a vergläichen selwecht Froen (puer Ëmfro Experimenter am Kapitel virgestallt ginn 3); fir méi iwwert Ëmfro Experiment gesinn Mutz (2011) . sidd Sozial Experimenter Experiment wou d'Behandlung puer sozial Politik ass dat nëmmen duerch eng Regierung ëmgesat ginn. Social Experimenter sinn enk un Programm Evaluatioun ze dinn. Fir méi iwwert Politik Experimenter, gesinn Orr (1998) , Glennerster and Takavarasha (2013) , an Heckman and Smith (1995) .

Eng Rei vun Aarbechten hunn am Verglach Labo an Terrain Experimenter am mythologesch (Falk and Heckman 2009; Cialdini 2009) an zu wat Resultater vu spezifesche Experimenter am politeschen Wëssenschaft (Coppock and Green 2015) , Wirtschaft (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) an Psychologie (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) offréiert eng flott Fuerschung Design fir Resultater vum Labo an Terrain Experimenter ze vergläichen.

Besuergt ëm Participanten änneren hiert Verhalen, well se wëssen se ugeduecht enk observéiert ginn heiansdo Nofro Effekter genannt, a si hunn an Psychologie studéiert ginn (Orne 1962) a Wirtschaft (Zizzo 2009) . Obwuel meeschtens mat Labo Experimenter assoziéiert, kann dës selwecht Problemer féieren Problemer fir Experimenter Terrain, wéi gutt. An Tatsaach, sinn och heiansdo Effekter Nofro genannt Hawthorne Effekter, e Wuert, dat vun engem Terrain Experimenter ofgeleet, speziell déi berühmte Wiederwelt Experimenter am Hawthorne Betribsrot vun der Western Electric Company vun 1924 ugefaang (Adair 1984; Levitt and List 2011) . Béid Nofro Effekter an Hawthorn Effekter enk un der Iddi vun reaktiv Miessung vun Chapter diskutéiert Zesummenhang sinn 2 (kuckt och Webb et al. (1966) ).

D'Geschicht vum Terrain Experimenter gouf am Secteur beschriwwen (Levitt and List 2009) , politesch Wëssenschaft (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , Psychologie (Shadish 2002) , an der ëffentlecher Politik (Shadish and Cook 2009) . Een Deel vun der sozialer Wëssenschaft wou Terrain Experimenter gouf dichteg ass international Entwécklung. Fir e positiven review vun deem Wierk am Secteur gesinn Banerjee and Duflo (2009) , a fir engem kriteschen Examen gesinn Deaton (2010) . Fir eng Revisioun vun dëser Aarbecht am politeschen Wëssenschaft gesinn Humphreys and Weinstein (2009) . Endlech, hunn déi ethesch Erausfuerderungen Équipe mat Terrain Experimenter gouf am politesche Wëssenschaft lant (Humphreys 2015; Desposato 2016b) an Entwécklung Secteur (Baele 2013) .

Am Kapitel, recommendéiert ech dass Précoce-Behandlung Informatiounen benotzt ka der Präzisioun vun geschate Behandlung Effekter ze verbesseren, mä et ass eng Debatt iwwert dës Approche: Freedman (2008) , Lin (2013) , an Berk et al. (2013) ; gesinn Bloniarz et al. (2016) fir méi Informatiounen.

• Komme mir doriwwer einfacht Experiment (Section 4,4)

Ech hunn op dräi Konzepter ze konzentréieren an dëse Match gaangen: Validitéit, heterogeneity vun Behandlung Effekter, an Mechanismen. Dës Konzepter hun verschidden Nimm a verschiddene Beräicher. Zum Beispill, éischter Psychologen doriwwer einfacht Experiment ze plënneren vum Fredi mediators a Moderatore (Baron and Kenny 1986) . D'Iddi vun mediators ass Arc vun wat ech Mechanismen ruffen, an der Iddi vun Moderatore ass Arc vun wat ech ruffen externen Validitéit (zB, géif d'Resultater vun der Experimenter anescht ginn, wann et zu verschiddene Situatiounen Course war) an heterogeneity vun Behandlung Effekter ( zB, sinn d'Effekter grouss fir e puer Leit wéi aner Leit).

D'Erfarung vun Schultz et al. (2007) weist wéi sozial Theorië benotzt gin kann effektiv Interventiounen zu Design. Fir eng méi allgemeng Argument iwwer d'Roll vun Theorie effikass Interventiounen am designen, gesinn Walton (2014) .

• Validitéit (Section 4.4.1)

D'Konzepter vum intern an extern Validitéit goufen éischt zu agefouert Campbell (1957) . Zréck Shadish, Cook, and Campbell (2001) fir eng detailléiert Geschicht an eng virsiichteg Elaboratioun vun statisteschen Conclusioun Validitéit, intern Validitéit, bauen Validitéit, an extern Gültegkeet.

Fir en Iwwerbléck iwwer Problemer ze statistesch Conclusioun Validitéit dinn an Experimenter gesinn Gerber and Green (2012) (fir eng sozial Wëssenschaft Perspektiv) an Imbens and Rubin (2015) (eng statistesch Perspektiv). Puer Aspekter vun statisteschen Conclusioun Validitéit datt speziell an online Terrain Experimenter opwerft och Problemer wéi computationally efficace Methoden fir ze schafen Vertrauen Intervalle mat ofhängeg Donnéeën (Bakshy and Eckles 2013) .

Intern Validitéit kann schwéier gin an komplexe Beräich Experimenter ze garantéieren. Gesinn, zum Beispill, Gerber and Green (2000) , Imai (2005) , an Gerber and Green (2005) fir eng Debatt iwwert d'Ëmsetzung vun enger komplexer Terrain Experimenter iwwer Stëmmrechter. Kohavi et al. (2012) an Kohavi et al. (2013) eng Aféierung an d'Erausfuerderunge vun nolauschterer Validitéit vun online Terrain Experimenter.

Eng grouss Beonrouegung mat intern Validitéit ass Problemer mat randomization. Een Wee fir eventuell Problemer mat der randomization erkennen ass d'Behandlung an Kontroll Gruppen op Observatiounsméiglechkeeten Spure ze vergläichen. Dës Zort vun Verglach ass eng Balance kontrolléieren genannt. Zréck Hansen and Bowers (2008) fir eng statistesch Approche Kontrollen ze Gläichgewiicht, a gesinn Mutz and Pemantle (2015) fir Suergen iwwert Gläichgewiicht kontrolléiert. Zum Beispill, mat enger Balance kontrolléieren Allcott (2011) fonnt, datt et e puer evident ass, datt d'randomization net richteg an dräi vun der Experimenter zu e puer vun de OPower Experimenter ëmgesat gouf (kuck Table 2; Siten 2, 6, an 8). Fir aner Approche, gesinn Imbens and Rubin (2015) , Chapter 21.

Aner grouss Suerge fir intern Validitéit Zesummenhang sinn: 1) eent-eesäitegen Net-Anhale, wou net jiddereen zu der Behandlung Grupp d'Behandlung eigentlech geduecht, 2) zwou eesäitegen Net-Anhale, wou net jiddereen zu der Behandlung Grupp d'Behandlung kritt an e puer Leit an der Kontroll Grupp kritt der Behandlung, 3) attrition, wou Resultater sinn net fir e puer Participanten gemooss, an 4) agemëscht, wou d'Behandlung vun de Leit an der Behandlung Konditioun Leit an der Kontroll Conditioun Uelegpeschten. Zréck Gerber and Green (2012) Chapters 5, 6, 7, 8 a fir méi op all eenzelne vun dësen Aspekter.

Fir méi iwwert bauen Validitéit, gesinn Westen and Rosenthal (2003) , a fir méi iwwert bauen Validitéit vun grouss Daten Quellen, Lazer (2015) an Kapitel 2 vun dësem Buch.

Een Aspekt vun externen Validitéit ass d'Ambiance wou eng Interventioun getest ass. Allcott (2015) gëtt eng virsiichteg theoretesch an empiresche Behandlung vum Site Auswiel Westen. Dëst Thema ass och an diskutéiert Deaton (2010) . Nieft ville Siten Rollenger Wiesen, huet den Home Energy Verknëppung Interventioun och duerch verschidde Fuerschung Gruppen (zB, onofhängeg studéiert ginn Ayres, Raseman, and Shih (2013) ).

• Heterogeneity vun Behandlung Effekter (Section 4.4.2)

Fir eng excellent Iwwersiicht vun heterogeneity vun Behandlung Auswierkunge vun Terrain Experimenter, gesinn Kapitel 12 vun Gerber and Green (2012) . Fir virgestallt zu heterogeneity vun Behandlung Auswierkunge vun medezinesch Prozesser, gesinn Kent and Hayward (2007) , Longford (1999) , an Kravitz, Duan, and Braslow (2004) . Heterogeneity vun Behandlung Effekter konzentréieren generell op Differenzen baséiert op Pre-Behandlung Charakteristiken. Wann Dir an heterogeneity interesséiert baséieren op post-Behandlung Resultater, da méi komplex approachs si waren wéi Haapt stratification (Frangakis and Rubin 2002) ; gesinn Page et al. (2015) fir eng Revisioun.

Vill Fuerscher schätzen d'heterogeneity vun Behandlung Effekter linear Réckgang benotzt, mä nei Methoden sech op Maschinn léieren, zum Beispill Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , an Athey and Imbens (2016a) .

Et ass e puer Skepsis iwwer Conclusiounen vun heterogeneity vun Effekter well vu multiple Verglach Problemer an "Fëscherei." Et sinn eng ganz Rei vun statisteschen Approche déi Adress Suergen iwwert Multiple Verglach hëllefen kann (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Eng Approche ze Suergen iwwert "Fëscherei" ass Précoce-Umeldung, déi ëmmer méi heefeg an Psychologie réckelt (Nosek and Lakens 2014) , politesch Wëssenschaft (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , an engem Secteur (Olken 2015) .

An der Etude vun Costa and Kahn (2013) nëmmen ongeféier d'Halschent vun de Stéit an der Experimenter konnt zu der demographescher Informatiounen verbonne ginn. Lieser interesséiert an d'Detailer an méiglech Problemer mat der Analyse soll un d'Original Pabeier kuckt.

• Mechanismen (Section 4.4.3)

Mechanismen sinn onheemlech wichteg, mä si béid aus ganz schwéier gin ze studéieren. Fuerschung iwwert Mechanismen enk un der Etude vun mediators zu Psychologie ze dinn (awer och gesinn VanderWeele (2009) fir eng präzis Vergläich tëschent den zwou Iddien). Statistique Approche ze fannen Mechanismen, wéi d'Approche entwéckelt an Baron and Kenny (1986) , sinn zimlech heefeg. Leider gëtt et net, datt déi Prozeduren hänkt op e puer staark anzeschätzen (Bullock, Green, and Ha 2010) an Nodeeler wann et méi Mechanisme sinn, wéi ee vun de ville Situatiounen erwaarden kéint (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) an Imai and Yamamoto (2013) Offer puer verbessert statisteschen Methoden. Weider, VanderWeele (2015) offréiert eng Behandlung Buch-Längt mat enger Zuel vu wichtege Resultater, fir Empfindlechkeet Analyse eng ëmfaassend Approche inklusiv.

Eng separat Approche axéiert op Experimenter datt de Mechanismus direkt ze manipuléieren Versuch (zB, wou Séifuerer Vitamin C). Leider, Multiple Mechanismen vill sozial Wëssenschaft Astellungen do sinn oft an et ass schwéier Fleeg fir Design, datt een änneren ouni den aneren Operateur. Verschidde Approche zu experimentally Wou muss ech Mechanismen sinn zu beschriwwen Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , an Pirlott and MacKinnon (2016) .

Endlech, hunn Mechanismen och eng laang Geschicht an der Philosophie vun der Wëssenschaft als vun beschriwwen Hedström and Ylikoski (2010) .

• Benotzt bestehend Ëmfeld (Section 4.5.1.1)

Fir méi iwwert de Gebrauch vun Korrespondenz Studien an Audit Studien Diskriminatioun gesinn ze moossen Pager (2007) .

• Build Är eegen Experimenter (Section 4.5.1.2)

De stäerkste gemeinsam Doktrin Mataarbechter Experimenter ze rekrutéieren, datt Dir bauen ass Amazon mechanesch Turk (MTurk). Well MTurk mimics Aspekter vun traditionell Labo Experimenter-Prise Leit Aufgaben ze kompletéieren, datt se gratis-ville Fuerscher net do wier schonn an mënschlechen Theme Experimenter doraus wéi traditionell vun schnell a méi bëlleg Donnéeën Kollektioun mat Turkers (den Aarbechter op MTurk) als Participanten ugefaangen op-Campus Experimenter am Labo (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Déi gréisste Stäerkt vun Experimenter mat Participanten aus MTurk rekrutéiert ginn Truppe: si erlaben Fuerscher Participanten séier an esou waren ze rekrutéieren. Well Labo Experimenter Wochen huelen kann fortgesat a Terrain Experimenter Méint huelen kann astellen-up, Experimenter mat vun MTurk rekrutéiert matmaachen kann an Deeg fortgesat ginn. Zum Beispill, Berinsky, Huber, and Lenz (2012) konnten 400 Punkten an engem eenzegen Dag ze rekrutéieren an eng 8 Minutt Experimenter ze participéieren. Weider, kann dës Participanten fir quasi all Zweck agestallt gin (dorënner Ëmfroen an Mass Zesummenaarbecht, wéi 3 an Chapters diskutéiert a 5). Dat Richtegt vum Rekrutement heescht datt Fuerscher Message vun wëssenschaftlech Experimenter an rapid Nofolleg lafen kann.

Ier Participanten aus MTurk fir Är eegen Experimenter astellen, ginn et véier wichteg Saachen ze wëssen. Éischt, hunn ville Fuerscher engem Net-spezifesch Skepsis vun Experimenter sensibiliséieren Turkers. Well dës Skepsis net spezifesch ass, ass et schwéier mat Beweiser zu Konter. Allerdéngs, no e puer Joer vun Studie mat Turkers, kënne mir elo schléissen, datt dës Skepsis net grad néideg ass. Et muss vill Studien gouf de DEMOGRAPHIQUES vun Turkers zu anere Populatiounen a vill Studien vergläichen Resultater vun Experimenter mat Turkers un d'Resultater vun anere Populatiounen vergläichen. Tatsaach all dës Aarbecht, mengen ech, datt déi bescht Manéier fir Iech doriwwer ze denken ass dass Turkers eng räsonnabel Kamoudheet Prouf sinn, vill méi wéi Schüler mä eppes méi verschiddenste (Berinsky, Huber, and Lenz 2012) . Sou, just als Schüler eng räsonnabel Populatioun fir e puer sidd, mä net all experimentell Fuerschung, sinn Turkers eng räsonnabel Populatioun fir e puer mä net all Fuerschung. Wann Dir mat Turkers schaffe ginn, da mécht et Sënn vill vun dësen Komparativ Studien ze liesen an hir Nuancen verstoen.

Zweet, hu Fuerscher beschte-Praktiken entwéckelt fir waarden intern Validitéit vun Turk Experimenter, an Dir sollt iwwer léieren an dann dës beschte-Praktiken (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Zum Beispill, Fuerscher Turkers benotzt ginn encouragéiert screeners ze benotzen, bis keng Suen Participanten ewechhuelen (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (mee gesinn och DJ Hauser and Schwarz (2015b) an DJ Hauser and Schwarz (2015a) ). Wann Dir net keng Suen Participanten ewechhuelen, dann kann keen Effet vun der Behandlung vum Kaméidi vu keng Suen Participanten agefouert desinizeiert ginn, an d'Zuel vun keng Suen Participanten an der Praxis kann substantiell ginn. An der Erfarung vun Huber a Kollegen (2012) iwwer 30% vun de Bedeelegten gescheitert Basis Opmierksamkeet screeners. Anere Problem gemeinsam mat Turkers ass Nët-granzt Participanten (Chandler et al. 2015) .

Drëttel, am Verglach zu verschidden aner Formen vun digitale Experimenter, MTurk Experiment kann net Skala; Stewart et al. (2015) geschat, datt bei all entscheet Zäit do sinn nëmme ronn 7.000 Leit op MTurk.

Endlech, sollt Dir wëssen, datt MTurk enger Communautéit mat sengen eegene Regelen ass an Normen (Mason and Suri 2012) . An d'selwecht wéi datt Dir probéiert hätt iwwert d'Kultur vun engem Land ze erauszefannen, wou Dir Är Experiment genug, sollt Dir probéiert méi iwwert déi Kultur ze erauszefannen an Normen vun Turkers (Salehi et al. 2015) . An, sollt Dir wëssen, datt de Turkers gëtt iwwer Är Experimenter ginn schwätzen wann Dir eppes surfen oder Ofdreiwung maachen (Gray et al. 2016) .

MTurk ass eng onheemlech praktesch Manéier Mataarbechter Är Experimenter ze rekrutéieren, ob si Labo-wëll, wéi Huber, Hill, and Lenz (2012) , oder méi Terrain-wëll, wéi Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , an Mao et al. (2016) .

• Build Är eege Produit (Section 4.5.1.3)

Wann dir vun Aarmut Är eege Produit ze schafen denks, Ech roden, datt Dir de Rot vun der MovieLens Grupp an ugebueden liesen Harper and Konstan (2015) . Eng wichteg Interesse vun hirer Erfahrung ass, dass fir all Erfolleg Projet do sinn der vill, vill, opginn. Zum Beispill, lancéiert d'MovieLens Grupp aner Produiten wéi GopherAnswers datt sech komplett opginn (Harper and Konstan 2015) . Anert Beispill vun engem Fuerscher nokënnt iwwerdeems e Produit ze bauen Versuch ass Versuch d'Edward Castronova en online Spill genannt Arden ze bauen. Trotz $ 250.000 am Finanzement, gouf de Projet enger austoben (Baker 2008) . Projeten wéi GopherAnswers a Meedercher sinn leider méi heefeg, wéi Projeten wéi MovieLens. Endlech, wou ech gesot hunn, datt ech net vun all aner Fuerscher wosst dass Produite fir widderholl trotzdeem erfollegräich gebaut haten hei si meng Kritären: 1) Participanten de Produit benotzen well wat et gëtt hinnen (zB, se net bezuelt ginn a si ginn net Fräiwëlleger hëllefen Wëssenschaft) an 2) d'Produit fir méi wéi eng eegestänneg Experimenter (dat heescht, net déi selwecht Experiment Multiple mol mat verschiddene Virentscheedung déinen benotzt gouf). Wann Dir vun anere Beispiller kennen, sot mir wëssen.

• Partner mat de mächtege (Section 4.5.2)

Ech hun d'Iddi vun Pasteur d'ugeholl diskutéiert dacks um Tech Betriber héieren, an et hëlleft Fuerschung Efforten am Google organiséieren (Spector, Norvig, and Petrov 2012) .

Bond a Kollegen studéieren (2012) Versich och d'Wierkung vun dësen Traitementer op d'Frënn vun deenen déi se geduecht z'entdecken. Well vun den Design vun den Experimenter, sinn dës spillovers schwéier z'entdecken präzis genuch; interesséiert Lieser soll gesinn Bond et al. (2012) fir eng méi grëndlech Diskussioun. Dëst Experiment ass Deel vun enger laanger Traditioun vun Experimenter am politeschen Wëssenschaft op Efforten Wahl ze encouragéieren (Green and Gerber 2015) . Dës gespillt-out-de-Vote Experimenter si gemeinsam zu Deel well se zu Pasteur ass ugeholl ginn. Dat ass, do si vill Leit déi motivéiert Wahl a Wahl ze klammen kann eng interessant Behuelen méi allgemeng Theorien iwwer Verhalen änneren a sozial Afloss ze testen.

Aner Fuerscher hunn Rot gëtt iwwer Terrain Experimenter mat Partner Organisatiounen wéi politesch Parteien Lafen, ONGen, an Entreprisen (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Anerer hunn ugebueden Rotschléi iwwer wéi Partnerschaften mat Organisatioune ka Fuerschung Motiver Impakt (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnerschaft kann och fir ethesch Froen an (Humphreys 2015; Nickerson and Hyde 2016) .

• Design Rot (Section 4.6)

Wann Dir eng Analyse Plan schafe ginn, ier Är Experimenter Lafen, proposéieren ech, datt Dir vun Liesen Berichterstattung Direktiven ufänken. D'Produktioun (mëttelstänneg Standard fäert vun Utilisatioun) Richtlinnen sech zu Medikament entwéckelt (Schulz et al. 2010) a modifizéiert fir sozial Fuerschung (Mayo-Wilson et al. 2013) . Eng wëssenschaftlech Formatioun vun Richtlinnen huet duerch d'Redaktoren vum Journal vun hun Politesch Science entwéckelt ginn (Gerber et al. 2014) (kuckt och Mutz and Pemantle (2015) an Gerber et al. (2015) ). Endlech, goufen Berichterstattung Direktiven am Psychologie entwéckelt (Group 2008) , a gesinn och Simmons, Nelson, and Simonsohn (2011) .

Wann Dir eng Analyse Plan schafen sollt Dir betruecht et Pre-Enregistréiere well Pre-Umeldung d'Vertraue Erhéijung gëtt, datt anerer zu Är Resultater hunn. Weider, wann Dir mat engem Partner schaffen, gëtt et Äre Partner d'Fähegkeet Limitéiert der Analyse no de Resultater ze änneren geknackt. Pre-Umeldung ass an Psychologie ëmmer méi heefeg daß (Nosek and Lakens 2014) , politesch Wëssenschaft (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , an der Wirtschaft (Olken 2015) .

Während Är Pre-Analyse Plan schafen sollt Dir bewosst ginn, datt och verschidde Fuerscher Réckgang an wëssenschaftlech Approche benotzen der Präzisioun vun der geschater Behandlung Effekt ze verbesseren, an et ass eng Debatt iwwert dës Approche: Freedman (2008) , Lin (2013) , an Berk et al. (2013) ; gesinn Bloniarz et al. (2016) fir méi Informatiounen.

Design Rot speziell fir online Terrain Experiment ass och zu virgestallt Konstan and Chen (2007) an Chen and Konstan (2015) .

• Erstellt null Variabel kascht Donnéeën (Section 4.6.1)

Fir méi iwwert de MusicLab Experimenter, gesinn Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , an Salganik (2007) . Fir méi iwwert Gewënner-huelen-all Mäert, gesinn Frank and Cook (1996) . Fir méi iwwert untangling Gléck a Fäegkeete méi allgemeng, gesinn Mauboussin (2012) , Watts (2012) , a Frank (2016) .

Et ass eng aner Approche Virentscheedung Bezuelungen un eliminéiert datt Fuerscher mat him benotzt soll: conscription. An vill online Terrain Experimenter Participanten si gekëmmert an Experimenter COSL an ni kompenséiert. Beispiller vun dëser Approche gehéiert Restivo a van de Rijt senger (2012) Experimenter op belount am Wikipedia an Bond a Kolleg vum (2012) Experimenter op Leit encouragéiert ze wielen. Dës Experimenter net wierklech null Variabel kascht hunn, si hunn null Variabel Käschten ze Fuerscher. Obschonn d'Käschte vu villen vun deenen Experimenter extrem kleng ass fir jidderee, kréie kleng Käschte eng enorm Zuel vu Mataarbechter séier summéiere kann. Fuerscher Lafen massive online Experimenter Asteroid oft d'Wichtegkeet vun kleng geschat Behandlung Auswierkunge vun gesot, datt dës kleng Effekter wichteg ginn kann wéini vill Leit applizéiert. Déi genau selwecht denken gëllt fir Käschten déi Fuerscher op Participanten Klo. Wann Är Experiment eng Millioun Leit bewierkt eng Minutt ze verléieren, ass d'Experimenter net ganz schiedlech politëscher Persoun, mä zu ugesammelt et huet bal zwee Joer Zäit hätten.

Aner Approche null Variabel Käschte bezuelt fir matmaachen ze schafen ass eng Lotterie ze benotzen, eng Approche, déi och am breede Fuerschung benotzt ginn huet (Halpern et al. 2011) . Ofschléissend, fir méi iwwer designen erhuelsam Benotzer-Erliefnesser gesinn Toomim et al. (2011) .

• Schounen, Aktualitéit, a reduzéieren (Section 4.6.2)

Hei sinn d'Original Definitiounen vun den dräi R, vum Russell and Burch (1959) :

"Ersatz heescht de Wiessel fir bewosst Liewensstandard héich Déieren vun insentient Material. Reduktioun heescht Reduktioun vun der Zuel vun Déieren benotzt Informatiounen vun enger bestëmmter Zomm a Präzisioun ze kréien. Refinement heescht keng Ofsenkung vun der Heefegkeet oder Gravitéit vun inhumane Prozeduren fir déi Déieren applizéiert deen haut nach benotzt muss ginn. "

Déi dräi R d'datt ech proposéieren do net de ethesch Prinzipien am Kapitel 6. opgefall beschriwwen ignoréiert, si eng méi gedriwwe Versioun ee vun de Prinzipien-beneficence-speziell fir de Kader vun de Mënscherechter Experimenter.

Wann Emoltional Seuche que, ginn et dräi Nët-ethesch Froen am Kapp ze halen, wann dat Experimenter Interpretatioun. Éischt, ass et net kloer, wéi déi tatsächlech Detailer vun den Experimenter un d'theoretesch behaapt Pass; an anere Wierder, et si Froen iwwer bauen Gültegkeet. Et ass net kloer, dass déi positiv an negativ Wuert zielt eigentlech eng gutt Luucht vun der emotionalen Zoustand vun Participanten sinn well 1) et net kloer ass, datt d'Wierder, datt Leit Post eng gutt Luucht vun hiren Emotiounen an 2) et ass net kloer, dass de Choix Analyse Technik allem datt de Fuerscher as konnt benotzt ze zouverlässeg Emotiounen soen (Beasley and Mason 2015; Panger 2016) . An anere Wierder, et kéint ee schlecht Moossnam vun enger Buergermeeschter Signal ginn. Zweet, seet den Design an Analyse vun den Experimenter eis näischt iwwer dee war Meeschter verkuebelt (dh, do ass keen Analyse vun heterogeneity vun Behandlung Effekter) a wat de Mechanismus ginn. An dësem Fall, haten d'Fuerscher vill Wëssenswäertes iwwer d'Participanten, mä si goufen am Fong als Dofir an der Analyse behandelt. Drëtt, war den Effet Gréisst vun dëser Erfarung ganz kleng; den Ënnerscheed tëschent der Behandlung an Kontroll Konditiounen ass ongeféier 1 zu 1.000 Wierder. An hirem Pabeier, Kramer an Kollegen fir de Fall datt en Effet vun dëser Gréisst wichteg ass, well Honnerte vu Millioune vu Leit hir Annonce all Dag Feed Zougang. An anere Wierder, streide se dat och Auswierkungen datt fir all Persoun kleng sinn se am ugesammelt grouss sinn. Och wann Dir dat Argument ze akzeptéieren huet, ass et nach ëmmer net kloer, ob en Effet vun dëser Gréisst iwwert de méi allgemeng wëssenschaftleche Fro emotional Seuche wichteg ass. Fir méi iwwert de Situatiounen wou kleng Effekter wichteg si gesinn Prentice and Miller (1992) .

Am Sënn vun der éischter R (Ersatz), de Emoltional Seuche Experimenter vergläichen (Kramer, Guillory, and Hancock 2014) an de psychologeschen Seuche natierlech Experimenter (Coviello et al. 2014) offréiert puer allgemeng Lektiounen iwwert d'Gewerkschaft-Off Équipe mat Plënneren aus Experimenter un natierleche Experimenter (an aner Approche wéi déi Versuch passende Experimenter an net-experimentell Date zu geschätzte, gesinn Kapitel 2). Nieft der ethesch Virdeeler, vun experminteller wiessele fir Net-experimentell Studium erméiglecht och Fuerscher Behandlungen ze studéieren, datt se logistesch knapp sinn zu ronn. Dës ethesch an Truppe Virdeeler kommen op engem kascht Ee. Mat natierlecher Experimenter hu Fuerscher manner Kontroll iwwer Saache wéi Recrutement vun de Participanten, randomization, an der Natur vun der Behandlung. Zum Beispill, ass eng begrenzten Dauer vun Casino wéi eng Behandlung, datt et esouwuel komm erhéigt a Verloschter fannt. An der experimentell studéieren, awer Kramer an Kollegen sech kënnen onofhängeg komm, an fannt ze ajustéieren.

D'besonnesch Approche vun benotzt Coviello et al. (2014) war an weider gedriwwe Coviello, Fowler, and Franceschetti (2014) . Fir eng tragesch instrumental Verännerlechen gesinn Angrist and Pischke (2009) (manner formell) oder Angrist, Imbens, and Rubin (1996) (méi formell). Fir e skeptesch Gesiichtspunkt vun instrumental Verännerlechen gesinn Deaton (2010) , a fir eng tragesch instrumental Verännerlechen mat schwaach Instrumenter (Reen ass eng schwaach Instrument), gesinn Murray (2006) .

Méi allgemeng, eng gutt Aféierung an natierlech Experiment ass Dunning (2012) , an Rosenbaum (2002) , Rosenbaum (2009) , an Shadish, Cook, and Campbell (2001) Offer gutt Iddien iwwer causal Effekter ouni Experimenter estimating.

Am Sënn vun der zweeter R (Refinement), sinn et wëssenschaftlech a Truppe Handel-Off wann Änneren den Design vun Emoltional Seuche que aus posts ze Cylisten posts erauszesichen. Zum Beispill, kann et de Fall, datt d'technesch Ëmsetzung vun der Annonce Feed ginn mécht et méi einfach ass eng Experimenter ze maachen mat posts amplaz en Experiment mat Cylisten posts (NB en Experiment mat erauszesichen posts als Layer ëmgesat ginn hätt op en Outil erop op d'Annonce Feed System ouni brauchen fir hire Restaurant vun der Basisdaten System). Senschaftler, Ee, d'Theorie vun der Experimenter Déclaratioun net kloer ee Design iwwer déi aner proposéieren.

Leider sinn ech net bewosst substantiell virewech Fuerschung iwwert d'famill Notzen vu Spären an Inhalt vun der Annonce Feed Cylisten. Och, ech hunn net vill Fuerschung iwwer Ausschaffen Behandlungen gesi fir se manner schiedlech; eng Ausnam ass Jones and Feamster (2015) , deen de Fall vun Miessung vun Internet Zensur méngt (en Thema ech am Kapitel 6 a Relatioun zu der encore Etude diskutéieren (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Am Sënn vun der drëtter R (Reduktioun), ass eng gutt Aféierung zu traditionell Muecht Analyse Cohen (1988) . Pre-Behandlung covariates kann am Design Etapp an der Analyse Etapp vun Experimenter mat abegraff ginn; Kapitel 4 vun Gerber and Green (2012) gëtt eng gutt Aféierung zu souwuel Approche, an Casella (2008) gëtt eng méi zu-Déift Behandlung. Techniken, datt dës Précoce-Behandlung Informatiounen zu der randomization benotzt ginn fir gewéinlech entweder blockéiert experimentell Motiver oder stratified experimentell Motiver (d'Terminologie ass net benotzt konsequent ganze Communautéiten) genannt; sinn dës Technik ënnerlech un der stratified probéieren Techniken am Kapitel 3. Zréck diskutéiert Zesummenhang Higgins, Sävje, and Sekhon (2016) fir méi dës Pläng am massive Experimenter op benotzt. Pre-Behandlung covariates kann och an der Analyse Etapp agebaut ginn. McKenzie (2012) inspizeiert den Ënnerscheed-zu-Differenzen Approche Terrain Experimenter zu méi am Detail ze analyséieren. Zréck Carneiro, Lee, and Wilhelm (2016) fir méi op d'Gewerkschaften-Off tëscht verschiddene Approche Präzisioun an Aschätzunge vun Behandlung Effekter ze erhéijen. Endlech, wann ob Attributiounen Pre-Behandlung covariates um Design oder Analyse Etapp geplangt ze probéieren (oder béid), et sinn e puer Faktore ze considéréieren. An engem Kader wou Fuerscher ze weisen wëllt, datt se net "Fëscherei" sinn (Humphreys, Sierra, and Windt 2013) , andeems Pre-Behandlung covariates am Design Etapp duerstelle kann (Higgins, Sävje, and Sekhon 2016) . Logistesch schwéier kann zum Beispill an Situatiounen wou Participanten Rei ukommen, besonnesch Online Terrain Experimenter, Pré-behandelt Informatiounen am Design Bühn benotzt, gesinn Xie and Aurisset (2016) .

Et ass derwäert e bësse vun Usiicht iwwer Schan firwat Ënnerscheed-zu-Ënnerscheeder kann wéi Ënnerscheed-zu-heescht sou vill méi efficace ginn. Vill online Resultater hun Ganz héich Varianz (cf. zB, Lewis and Rao (2015) an Lamb et al. (2015) ) a si relativ stabil iwwer d'Zäit. An dësem Fall, gëtt den Changement stoung hu méi kleng Varianz, d'Muecht vun der statistescher Test waarden. Ee Grond dësem gudden ass méi dacks net benotzt gëtt, datt virun der digitaler Ära et net gemeinsam war Pre-Behandlung Resultater ze hunn. A méi konkret a Weis doriwwer ze denken ass en Experiment ze envisagéieren ze moossen, ob eng spezifesch Übung Iddi Gewiichtsverloscht bewierkt. Wann Dir en Ënnerscheed-zu-bedeit Approche maachen, gëtt Är Schätzung Verännerlechkeet hunn, datt am Gewiichter vun der Populatioun vun der Verännerlechkeet kënnt. Wann Dir en Ënnerscheed-zu-Differenz Approche maachen, awer, dass natierlech vir Variant zu Gewiichter kritt ofgegruewen an Dir kënnt méi einfach eng Differenz vun der Behandlung ëmmer z'entdecken.

Eng wichteg wéi d'Zuel vun de Participanten an Är Experimenter ze reduzéieren ass eng Kraaft Analyse duerchzeféieren, déi Kramer a Kollegen hunn baséiert op den Effekt ze gesin gemaach hätt vun der natierlecher Experimenter vun observéiert Coviello et al. (2014) oder éischter Net-experimentell Fuerschung vun Kramer (2012) (eigentlech dës sinn Aktivitéiten um Enn vun dësem Kapitel). Remark: dës Benotzung vu Muecht Analyse e bëssen anescht wéi typesch ass. An der Analog Alter, Fuerscher Muecht Analyse generell gemaach sécherstellen, datt hir Etude net ze kleng ass (dh, ënnert-ugedriwwe). Elo, Ee, Fuerscher sollen Muecht Analyse maachen ze suergen, datt hir Etude net ze grouss ass (dh, iwwer-ugedriwwe).

Endlech, als ech eng véiert R Schan: Repurpose. Dat ass, wann Fuerscher sech mat méi experimentell Date fannen wéi se brauchen fir hir ausgefale Fuerschung Fro ze Adress, si sollen d'Donnéeë repurpose nei Froe stellen. Zum Beispill, virstellen, dass Kramer a Kollegen eng Differenz-zu-Differenzen estimator benotzt haten an hunn sech mat méi Daten wéi hir Fuerschung Fro ze Adress waren. Anstatt net d'Donnéeën fir déi beschtméiglechst Mooss benotzt, hätt se d'Gréisst vun den Effet wéi enger Funktioun ze-viraus Behandlung emotional Ausdrock studéiert hunn. Just als Schultz et al. (2007) fonnt dass den Effet vun der Behandlung anescht war fir Liicht an schwéier Benotzer, vläicht d'Effekter vun der Annonce Feed fir Leit verschidde waren, déi schonn de Lien glécklech ze Post (oder traureg) Messagen. Repurposing hätt zu "Fëscherei" Féierung (Humphreys, Sierra, and Windt 2013) an "p-Oflauschterskandal" (Simmons, Nelson, and Simonsohn 2011) , mee dës schiddene addressable mat enger Kombinatioun vun éierlech Informatiounsblat (Simmons, Nelson, and Simonsohn 2011) , Précoce-Umeldung (Humphreys, Sierra, and Windt 2013) , a Methoden Maschinn léieren dass iwwer-Milieu ze verhënneren Versuch.