Wat Iech elo weider liesen

• Aféierung (Sektioun 4.1)

Froen iwwer Kausalitéit an der sozialer Fuerschung sinn oft komplex an komplizéiert. Fir e fondationalen Approche zur Kausalitéit baséiert op Kausalgréissten, kucke Pearl (2009) , a fir e fondationalen Wee op Basis vu potenziellen Resultater, kuckt Imbens and Rubin (2015) . Fir e Verglach tëscht dësen zwou Approche, kuckt Morgan and Winship (2014) . Fir eng formell Approche fir eng Konfondeur ze definéieren, kuckt VanderWeele and Shpitser (2013) .

An dësem Kapitel hunn ech et geschafen, wéi schéngt wéi eng helle Linn tëscht eiser Kapazitéit fir Kausalschätzungen aus experimentellen an net experimentéierte Donnéeën ze maachen. Mä ech mengen datt et an der Realitéit d'Ënnerscheedung méi méi verwësche gëtt. Zum Beispill, jiddfereen akzeptéiert datt Fëmmen u Kriibs verursaacht, obwuel kee randomiséierter kontrolléiert Experiment deen d'Leit ze fëmmen fir ze fëmmen, jeemools gemaach gi war. Fir exzellente Behandlungen vu buchstäckleche Behandlungen fir Kausalschätzungen aus net experimentellen Donnéeën ze gesinn, kucke Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , a Dunning (2012) .

De Chapiter 1 an 2 vu Freedman, Pisani, and Purves (2007) bieden eng kloer Einféierung vun den Ënnerscheeder tëschent Experimenten, kontrolléiert Experimenter a randomiséierter kontrolléiert Experiment.

Manzi (2012) léisst eng faszinant a liestlech Iddi fir d'philosophesch a statistesch Ënnerdeelunge vu randomiséierter kontrolléiert Experiment. Et ass och interessant Beispiller vun der Muecht vum Experimentéieren am Geschäft. Issenberg (2012) léisst eng faszinante Einféierung fir den Gebrauch vun Experimentéiere bei politesche Campagnen.

• Wat sinn Experimenter? (Abschnitt 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, an Athey and Imbens (2016b) stellen eng gutt Iddi zur statistescher Aspekter vum experimentellen Design an Analyse. Et gëtt exzellent Behandlungen vum Gebrauch vun Experimenteren an deene verschiddene Beräicher: Economie (Bardsley et al. 2009) , Soziologie (Willer and Walker 2007; Jackson and Cox 2013) , Psychologie (Aronson et al. 1989) , Politesch Wëssenschaft (Morton and Williams 2010) , a Sozialpolitik (Glennerster and Takavarasha 2013) .

D'Wichtegkeet vum Participant Recrutement (zB Préift) ass oft an experimenteller Fuerschung ënnerdaach. Awer wann den Effekt vun der Behandlung heterogen an der Bevëlkerung ass, dann d'Probenahme kritesch. Longford (1999) mécht dësen Zweck kloer wann hien fir Fuerscher ausgedréckt gëtt wéi d'Experimenter als Pollutioun vun enger Bevëlkerung mat der Happefamill Sampléierung.

• Zwee Dimensiounen vun Experimenten: Labad-analog-Digital (Abschnitt 4.3)

Ech hunn virgeschloen datt et en Kontinuum tëscht Labo- an Feldexperimenter ass, an aner Fuerscher hunn méi detailléiert Typologien proposéiert, besonnesch déi déi verschidde Formen vun Feldexperimente trennen (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Eng Partie Papiere vergläichen Labor- a Field Experimenter an der abstrakt (Falk and Heckman 2009; Cialdini 2009) a wat d'Resultater vu spezifesche Experimenter an der Politescher Wëssenschaft (Coppock and Green 2015) , Economie (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , an Psychologie (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) bieden eng flott Forschungsgestioun fir de Verglach vu Resultater aus Labo- an Feldexperimenter ze vergläichen. Parigi, Santana, and Cook (2017) beschreift wéi d'Feldversécherung e puer vun de Charakteristike vu Labo-a Field Experimenten kombinéiere kënnt.

D'Suergen iwwer d'Participanten änneren hirem Verhalen, well se wësse si se nawell beobachtet ginn, heiansdo genannt Demandeffekt , a si goufen an der Psychologie studéiert (Orne 1962) an Economie (Zizzo 2010) . Obwuel meeschtens mat Laborgängern ass verbonne sinn, kënnen déi selwescht Problemer och Problemer fir Feldexperimenter ginn. Tatsächlech féieren d'Effekter effekter och heiansdo Hawthorne-Effekter genannt , e Begrëff, deen de berühmt Beleidegungs Experimenter leeft, déi am Joer 1924 op der Hawthorne Works vun der Western Electric Company ugefaangen hunn (Adair 1984; Levitt and List 2011) . Béid Demandeffekt a Hawthorne-Effekter sinn eng rela tesch mat der Iddi vun der Reaktivmessung déi am Kapitel 2 diskutéiert gouf (kuckt och Webb et al. (1966) ).

Deen Experimenten hunn eng laang Geschicht an der Ekonomie (Levitt and List 2009) , politescher Wëssenschaft (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , Psychologie (Shadish 2002) an ëffentlech Politik (Shadish and Cook 2009) . Ee Beräich vun der Wëssenschaft, wou Feldversécherungen séier prominent ginn ass international Entwécklung. Fir e positiven Iwwerbléck vun der Aarbecht an der Economie gesinn Banerjee and Duflo (2009) , a fir eng kritesch Evaluatioun kuckt Deaton (2010) . Fir eng Iwwerpréiwung vun dëser Aarbecht an der Politikwëssenschaft ze gesinn, sinn Humphreys and Weinstein (2009) . Endlech sinn déi ethesch Erausfuerderunge vun Feldexperimenter am Kontext vun der Politescher Wëssenschaft (Humphreys 2015; Desposato 2016b) an der Entwécklungsökonomie (Baele 2013) .

An dëser Sektioun proposéiert ech, datt d'Pre-Behandlungsinformatioun benotzt ka ginn fir d'Präzisioun vun geschätzte Behandlungseffects ze verbesseren, awer et ass eng Debatte iwwert dës Approche; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , a Bloniarz et al. (2016) fir méi Informatiounen.

Schlussendlech sinn et zwou aner Typen vun Experimenten déi vu Sozialwëssenschaftler gemaach ginn, déi net gutt iwwer d'Labo-Dimensioun Dimensiounen passen: Ëmfaartexperimenter a sozial Experimenter. Survey Experimenter sinn Experimenter mat der Infrastruktur vun aktuellen Ëmfroen a vergläicht d'Äntwerten op alternativ Versiounen vun deene selwechte Froen (e puer Untersuchungsexperimenter présentéiert an 3); fir méi iwwer Ëmfroën Experimenter kucke Mutz (2011) . Sozial Experimenter sinn Experimenter wou d'Behandlung eng Rei sozial Politik ass, déi nëmmen duerch eng Regierung regele kann. Sozial Experimenter si mat der Evaluatioun vum Programm verknaffer. Fir méi iwwer Politik Experimenter, kuckt Heckman and Smith (1995) , Orr (1998) , an @ glennerster_running_2013.

• Fuerscht iwwert einfache Experimenter (Abschnitt 4.4)

Ech hunn gewielt fir sech op dräi Konzepter ze fokusséieren: Gëltegkeet, Heterogenitéit vun Behandlungsofwier a Mechanismen. Dës Konzepter hunn verschidden Nimm an verschiddenen Felder. Zum Beispill, Psychologen tendéieren iwwer einfache Experimenter ze bewegen, andeems Dir op Mediatoren a Moderatoren konzentréiert (Baron and Kenny 1986) . D'Iddi vum Mediateur ass duerch d'Mechanismen geréckelt ginn an d'Iddi vu Moderatoren ass gefuer vun deem wat ech extern Validitéit nennt (zB d'Resultater vum Experiment wäerte ënnerschiddlech sinn, wann et an verschiddene Situatioune geflücht war) an Heterogenitéit vun Behandlungsofwier ( B. sinn d'Effekter méi grouss fir e puer Leit wéi fir aner).

Den Experiment vum Schultz et al. (2007) weist, wéi gesellschaftlech Theorie kann benotzt ginn fir effektiv Interventiounen ze entwéckelen. Fir e méi allgemenge Argument iwwer d'Roll vun der Theorie bei der Entwierkung effektiver Interventiounen, kuckt Walton (2014) .

• Validitéit (Abschnitt 4.4.1)

D'Konzepter vu interner a externer Validitéit waren éischt vu Campbell (1957) . Kuckt de Shadish, Cook, and Campbell (2001) fir eng méi detailléiert Geschicht an eng virsiichteg Ausaarbechtung vun der statistescher Conclusiounsvaliditéit, der interner Gültegkeet, der Validitéit vun der Konstruktioun an der externer Validitéit.

Fir een Iwwerbléck iwwer d'Froe mat statisteschen Ofschlossgültegkeet bei Experimenteren kuckt Gerber and Green (2012) (aus enger Perspektive vun der Sozialwëssenschaft) an Imbens and Rubin (2015) aus enger statistescher Perspektive. E puer Froe vun statisteschen Ofschlossgültegkeet, déi speziell am Online-Feldexperimente entstoe sinn ëmfaasst Themen wéi rechneresch effizient Methoden fir Vertrauensintervalle mat abhängigen Daten (Bakshy and Eckles 2013) .

Intern Gültegkeet kann schwéier an komplexe Feldversécherungen garantéieren. Zum Beispill, Gerber and Green (2000) , Imai (2005) , a Gerber and Green (2005) fir Debatten iwwert d'Ëmsetzung vun engem komplexe Feldexperiment iwwert d'Wahl. Kohavi et al. (2012) an Kohavi et al. (2013) stellen eng Introduktioun an d'Erausfuerderungen vun Intervallgültegkeet an online Feldversuchen.

Eng grouss Bedrohung vun der interner Validitéit ass d'Méiglechkeet vu gescheitert Ziellämmung. Eng potentiell Manéier fir Problemer mat der Zirkulatioun z'entdecken ass d'Behandlung an Kontrollgruppen iwwer beobachtbare Charakteren ze vergleichen. Dëse Verglach läit als Balance Scheck . Hannergrond Hansen and Bowers (2008) fir eng statistesch Approche fir Mutz and Pemantle (2015) an Mutz and Pemantle (2015) fir Besuergt iwwer Waasserkonten. Zum Beispill, mat engem Balance Check, Allcott (2011) hat e Beweis fonnt datt d'Randomisatioun net korrekt an dräi vun den Opower Experimenten implementéiert ass (kuckt Tabelle 2; Siten 2, 6 a 8). Fir aner Approche, kuck Kapitel 21 vun Imbens and Rubin (2015) .

Aner wichtegste Bedenken hinsichtlich der interner Validitéit sinn: (1) eenseiteg Net-Konformitéit, wou net jiddereen an der Behandlungsgruppe tatsächlech d'Behandlung krut, (2) zwou Säite net komponent, wou net jiddfereen an der Behandlungsgruppe d'Behandlung an e puer Leit D'Kontrollgruppe kritt d'Behandlung, (3) Ausmiessung, wou Resultater net fir e puer Participanten gemooss ginn, a (4) Interferenz, wou d'Behandlung behandelt vu Leit an der Behandlungsbedingung fir Leit an der Kontrollzoustand. Kuckt d'Kapitelen 5, 6, 7 an 8 vun Gerber and Green (2012) fir méi iwwer all dës Froe.

Fir méi iwwer d'Konstrukt Gültegkeet ze gesinn, kucke Westen and Rosenthal (2003) , a fir méi iwwer d'Gëltegkeet vu groussen Datenquellen, de Lazer (2015) an den Kapitel 2 vun dësem Buch.

Ee Aspekt vun der externer Validitéit ass d'Plaz, an där eng Interventioun getest. Allcott (2015) léisst e véierbart theoreteschen an empiresche Behandele vu Virlagungsausdréck. Dëst Thema gëtt och iwwer Deaton (2010) . En anere Aspekt vun der externer Validitéit ass ob alternativ Operatioune vun der selweschter Interventioun ähnlech Effekter hunn. An dësem Fall ass e Verglach tëscht Schultz et al. (2007) an Allcott (2011) weist, datt d'Opower Experimenter e méi kleng schätzend behandelt Effet haten wéi d'originell Experimentë vu Schultz a Kollegen (1,7% versus 5%). Allcott (2011) spekuléiert datt d'Follow-Up Experimenter e klengt Auswierkunge haten, well d'Aart a Weis wéi d'Behandlung differéiert war: e handgeschriwwe Emoticon als Deel vun enger Studie, déi vun enger Universitéit ënnerstëtzt gouf, am Verglach zu engem gedréckte Emoticon als Deel vun enger Mass produzéiert Rapport vun enger Muechtfirma.

• Heterogenitéit vun Behandlungsaktivitéiten (Abschnitt 4.4.2)

Fir e exzellente Betrag vun der Heterogenitéit vun Behandlungsaktivéiere bei Feldexperimente, kuck Kapitel 12 vun Gerber and Green (2012) . Fir Inaugrieren zur Heterogenitéit vun Behandlungsofwier a medizinesche Prozesser, kuckt Kent and Hayward (2007) , Longford (1999) , Kravitz, Duan, and Braslow (2004) . D'Iwwerleeung vun der Heterogenitéit vun den Therapieeffekter konzentréiere sech allgemeng op Differenzen op Grond vun Pre-Behandlungs-Charakteristiken. Wann Dir Interesse a Heterogenitéit baséiert op der Post-Behandlungserklärung, da ginn méi komplex Approche gebraucht, wéi déi éischt Stratifikatioun (Frangakis and Rubin 2002) ; kuckt Page et al. (2015) fir eng Iwwerpréifung.

Vill Forscher schätzen d'Heterogenitéit vun Behandlungsaktivéiere mat linearer Regressioun, awer méi nei Methoden op Maschinn léieren; Zum Beispill, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) an Athey and Imbens (2016a) .

Et gëtt eng Skepsis iwwer Erkenntnisser vun der Heterogenitéit vun den Effekter wéinst villen Verglachprobleemer an "Fëscherei". Et gi verschiddene statistesch Approche, déi hëllefe kënnen Bedenken iwwert verschidde Verglach (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Eng Approche fir Bedenken iwwer "Fëscher" ass d'Pre-Registrierung, déi ëmmer méi an der Psychologie gëtt (Nosek and Lakens 2014) , Politesch Wëssenschaften (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) an Ökonomie (Olken 2015) .

An der Studie vun Costa and Kahn (2013) nëmmen ongeféier d'Hälfte vun de Stéit am Experiment mat der demographescher Informatioun verbonne kënnen. D'Lieser interesséieren sech fir dës Detailer ze bezuelen.

• Mechanismen (Abschnitt 4.4.3)

Mechanismen sinn onheemlech wichteg, awer se si ganz schwéier schwéier ze studéieren. Fuerschung iwwer Mechanismen ass eng Zesummenaarbecht mat der Studie vu Mediatoren an der Psychologie (awer kuckt och VanderWeele (2009) fir e präzisem Verglach tëscht den zwou Iddien). Statistesch Approche fir Mechanismen ze fannen, wéi zum Beispill d'Konzept, déi am Baron and Kenny (1986) , sinn zimlech allgemeng. Leider ass et kloer, datt dës Prozeduren abdeelen vu staarken Iwwerhuelungen (Bullock, Green, and Ha 2010) a leiden, wann et méi Mechanismussen gëtt, wéi een an villen Situatiounen erwaart (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) an Imai and Yamamoto (2013) bieden méi verbesserte statistesch Methoden. Weider, VanderWeele (2015) bitt eng Liwwerboubehandlung mat enger Rei wichtëger Resultater, och eng ëmfaassend Approche zur Sensibilitéit Analyse.

En eenzel Approche konzentréiert sech op Experimenter déi probéiert de Mechanismus direkt ze manipuléieren (zB mat Seegelen Vitamin C) ze manipuléieren. Leider sinn a villen sozialen Wëssenswäert et vill verschidde Mechanismen ginn an et ass schwéier ze behandelen Behandlungen, déi een änneren ouni d'aner ze änneren. Verschidden Approche fir experimentell Changement Mechanismes ginn vun Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , an Pirlott and MacKinnon (2016) .

D'Fuerscher déi ganz Faktorisatiouns Experimenter laafen mussen brauchen ze bemierken iwwer méi Hypothesen Tester; Fink, McConnell, and Vollmer (2014) an List, Shaikh, and Xu (2016) fir méi Informatiounen.

Endlech hunn d'Mechanismen och eng laang Geschicht an der Wëssenschaft philosophie wéi d' Hedström and Ylikoski (2010) .

• Benotzt existéierend Ëmfeld (Section 4.5.1)

Fir méi iwwer d'Benotze vu Korrespondenzstudien an Auditstudien zur Diskriminéierung vu Moossnamen, kuckt Pager (2007) .

• Bauen Äre eegene Experiment (Abschnitt 4.5.2)

Déi bekanntst Méiglechkeet, d'Participanten an Experimentë rekrutéieren, déi Dir bauen, ass Amazon Mechanical Turk (MTurk). Well MTurk ongeféier Aspekter vun traditionelle Labo Experimenter ze bezuele fir Leit ze fëllen déi se net gratis maachen wären - vill Fuerscher hunn schon Turker benotzt (den Aarbechter bei MTurk) als experimentell Participanten, déi méi séier a méi bëllege Datenerfollement erreechen wéi et erreecht gëtt am traditionelle Campus Experimenter am Campus (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Am allgemengen sinn déi gréissten Virdeeler vun de Benotzer, déi vu MTurk rekrutéiert sinn logistesch. Wa Labo Experimenter kann Wochen daueren, a Field Experimente kënnen Méint opruffen, Experimente mat Participanten déi vu MTurk rekrutéiert ginn, kënnen an Deeg lafen. Zum Beispill, Berinsky, Huber, and Lenz (2012) konnten 400 Sujeten an engem Dag verëffentlechen, fir an engem 8-Minuten-Experiment deelzehuelen. Desweideren kënnen dës Participanten fir praktesch all Zweck rekrutéiert ginn (ënnert anerem Ëmfroen a Masseverbecht, wéi et an Kapitel 3 a 5 diskutéiert gëtt). Dës Erweiderung fir d'Wäertung heescht, datt d'Fuerscher an de relente Successiounsequenzen vu verwandte Experimenter lafen.

Wann Dir d'Participanten aus MTurk fir Äert Experimente rekrutéiert, sinn et vier wichteg Saachen, déi Dir wësst. Als éischt, vill Fuerscher hunn eng speziell Skepsis vun Experimentelen mat Turkeren. Well dës Skepsis net spezifesch ass, ass et schwéier mat Beweiser ze zielen. Mä no puer Joer Studien déi Turkeren benotzen, kënne mir elo soen datt dës Skepsis net ganz gerechtfäerdegt gëtt. Et goufen vill Studien ze vergläichen d'Demografie vun Turkeren mat deenen vun anere Populatiounen ze vergläichen an vill Studien de Verglach vu Experimenter mat Turkeren ze vergläichen déi vu anere Populatiounen sinn. Fir all dës Aarbecht ze denken, denken ech, datt de beschte Wee fir Iech dovun iwwerzeegt ass datt Turkers eng vernehmbar Bequemlechkeet sinn, wéi Student, awer e bësse méi divers (Berinsky, Huber, and Lenz 2012) . Dofir, grad wéi d'Studenten eng vernünfteg Bevëlkerung fir e puer, awer net all d'Recherche, Turker sinn eng raisonnabel Bevëlkerung fir e puer, awer net all, Recherche. Wann Dir mat Turkeren geschafft hutt, ass et Sënn fir vill vun dësen verglachendsten Studien ze liesen an hir Nuancen ze verstoen.

Zweetens hunn d'Fuerscher bestëmmten Praktiken entwéckelt fir d'intern Gëlle vu MTurk Experimenter ze vergréisseren an Dir sollt léieren a suivéieren dës Best Practices (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Zum Beispill, d'Fuerscher déi Turker benotzen, sollen d'Schreiwe benotzen, fir onattentive Participanten ze entfernen (Berinsky, Margolis, and Sances 2014, 2016) (awer kuckt och DJ Hauser and Schwarz (2015b) an DJ Hauser and Schwarz (2015a) ). Wann Dir net onattentiv Participanten kënnt, da kënnt eventuell Auswierkunge vun der Behandlung duerch de Kaméidi, déi se agefouert hunn, gewaschen. An der Praxis kann d'Zuel vun onattentive Participanten erheblech sinn. Am Experiment vum Huber a Kollegen (2012) sinn ongeféier 30% vun de Participanten keng gréissere Aufgab. Aner Problemer déi normalerweis opstoen, wann Turkeren benotzt ginn, sinn net naivt Participanten (Chandler et al. 2015) an Zoustand (Zhou and Fishbach 2016) .

Drëttens, relativ zu verschiddene Formen vun digitale Experimenten, sinn MTurk Experimenter net méiglech; Stewart et al. (2015) schätzen, datt zu all Zäit dës Zäit just iwwer 7.000 Leit op MTurk sinn.

Endlech musst Dir wëssen datt MTurk eng Gemeinschaft mat sengen Regelen a Normen ass (Mason and Suri 2012) . An der selwechter Manéier wéi Dir Iech versicht iwwert d'Kultur vun engem Land wou Dir Äert Experimente leeft, sollt Dir kucken, méi iwwer d'Kultur an d'Normen vun den Turkeren (Salehi et al. 2015) . An Dir sollt wëssen, datt d'Turker iwwert Är Experiment schwätzen, wann Dir eppes Uleesens oder onbestänneg mécht (Gray et al. 2016) .

MTurk ass eng onheemlech praktesch Manéier d'Participanten op Är Experimenter ze rekrutéieren, se se labberähnlech wéi d' Huber, Hill, and Lenz (2012) oder méi Feldfaarwen wéi d' Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , a Mao et al. (2016) .

• Bauen Äre eegene Produkt (Abschnitt 4.5.3)

Wann Dir denkt un Ären eegene Produkt ze schaafen, recommandéiert Dir Iech de Rot vun der MovieLens Gruppe an Harper and Konstan (2015) . E Schlësselwierk vu senger Erfahrung ass dat fir all Erfollegprojet et vill, vill Fehlzeilen. Zum Beispill huet d'MovieLens Gruppe aner Produkter, wéi GopherAnswers, déi komplett Offälle (Harper and Konstan 2015) . En anert Beispill vun engem Fuerscher deen beim Versuch fir e Produit ze bauen ass de Edward Castronova säin Versuch, en online Game Arden ze bauen. Trotz $ 250.000 fir d'Finanzéierung war de Projet en Flop (Baker 2008) . Projeten wéi GopherAnswers an Arden sinn leider vill méi üblech wéi Projeten wéi MovieLens.

• Partner mat de staarken (Rubrik 4.5.4)

Ech hu gehofft d'Iddi vum Pasteur Quadrant diskutéiert oft bei techneschen Firmen, an et hëlleft Forschungsinstanz op Google (Spector, Norvig, and Petrov 2012) .

Bond a Kollegen "Studie (2012) versprécht och, den Effekt vun dësen Behandlungen op d'Frënn vun deenen, déi se kréien hunn, feststellen. Wéinst dem Design vum Experiment sinn dës Spillfler net méi schwéier ze entdecken; interesséierte Lieser sollen eng Bond et al. (2012) fir eng méi grëndlech Diskussioun. Jones a Kollegen (2017) och e ganz ähnleche Experiment während der Wahllëscht 2012 ugereegt. Dës Experimenter sinn Deel vun enger laang Traditioun vun Experimentelen an der Politescher Wëssenschaft iwwer d'Ustrengung fir d'Wahlen ze stimuléieren (Green and Gerber 2015) . Dës Get-Out-the-vote Experimenter si meeschtens, deelweis well se am Pasteur Quadrant sinn. Dat ass vill Leit, déi motivéiert sinn ze stëmmen an ofzeschwätzen an interessant Verhalen ze testen a méi allgemeng Theorien iwwer Verhalensverännerung a sozialen Afloss.

Fir Raten iwwert Laafenfeld Experimenter mat Partnerorganisatiounen wéi politesche Parteien, ONG'en an Entreprisen, kuckt Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , a Gueron (2002) . Fir Gedanken iwwer wéi verschidde Partnerschaften mat Organisatiounen kann Forschungsentwécklungen beaflossen, kuckt de King et al. (2007) an Green, Calfano, and Aronow (2014) . D'Partnerschaft kann och ethesch Froen féieren, wéi d' Humphreys (2015) a Nickerson and Hyde (2016) .

• Designberodung (Abschnitt 4.6)

Wann Dir en Analyseplang virleeën fir Äert Experienz ze kreéieren, proposéiert ech Iech datt Dir beim Liese vun de Richtlinne Richtlinn liest. D'CONSORT (Consolidated Standard Reporting of Trials) Leitlinien goufen an der Medizin entwéckelt (Schulz et al. 2010) a geännert fir Sozialfuerschung (Mayo-Wilson et al. 2013) . Eng verwandte Set vun Richtlinnen gouf vum Editors vum Journal of Experimental Political Science (Gerber et al. 2014) (kuckt och Mutz and Pemantle (2015) an Gerber et al. (2015) ). Schlussendlech sinn d'Berichterwueleg Leit an der Psychologie entwéckelt (APA Working Group 2008) , an och Simmons, Nelson, and Simonsohn (2011) .

Wann Dir e Analyseplang schreift, sollt Dir Iech virgeschloen halen, well d'Pre-Registrierung de Vertrauen erhéicht datt anerer zu Äre Resultater hunn. Zousätzlech, wann Dir mat engem Partner geschafft hutt, wäert et Är Fähigkeetsfäegkeet limitéieren, d'Analyse z'änneren, nodeems se d'Resultater gesinn. D'Pre-Registrierung gëtt ëmmer méi heefeg an der Psychologie (Nosek and Lakens 2014) , Politikwëssenschaft (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , an Economie (Olken 2015) .

Designberodung speziell fir Onlinefeld Experimentë gëtt och an Konstan and Chen (2007) a Chen and Konstan (2015) .

Wat ech déi Armada-Strategie genannt ginn, gëtt heiansdo programmatesch Recherche genannt ; Wilson, Aronson, and Carlsmith (2010) .

• Zuel Variablen Devis erfëllen (Abschnitt 4.6.1)

Fir méi iwwer d'MusicLab Experimenter fannt Dir Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) an Salganik (2007) . Fir méi iwwer d'Gewinner-Take-All Mäert, kuckt Frank and Cook (1996) . Fir méi iwwer Onglécklech Gléck a Fäegkeet méi allgemeng, kuckt Mauboussin (2012) , Watts (2012) , an Frank (2016) .

Et gëtt eng aner Approche fir d'Participanten-Bezuelungen ze eliminéieren déi d'Fuerscher mat Vorsicht benotzen: Konskriib. A ville on-line Feld Experimentë sinn d'Participanten am Prinzip an Experimenter entworf ginn an ni kompenséiert. Beispiller fir dës Approche gehéieren an der Restivo an van de Rijt (2012) experimentell op Belounter an der Wikipedia an der Bond an dem Kollegen (2012) Experiment op d'Förderung vun de Leit ze stëmmen. Dës Experimenter hunn net wierklech Null Variabel kascht - éischter, si hunn zero variabel Käschten fir d'Fuerscher . An sou Experimenten, och wann d'Käschten fir all Participant extrem kleng sinn, kënnen déi aggregéiert Käschten relativ grouss sinn. Fuerscher déi massiv Online Experimente leeden iwwer d'Wichtegkeet vun kleng geschätzte Behandlungseffects ze rechtzeechen andeems se soen datt dës kleng Effekter wichteg si ginn, wann se fir vill Leit ugewannt ginn. Déi genee selwecht Gedanken gëllt fir Käschten, déi d'Fuerscher op d'Participanten setzen. Wann Äre Experiment eng Millioun Leit mécht fir eng Minutt ze verwäschen, ass den Experiment net ganz schued fir eng besonnesch Persoun, mee a masseg goufe si bal zwee Joer Zäit verschwend.

Eng aner Approche fir d'Null Variabel Käschten ze bezuelen fir d'Participanten ze benotzen ass d'Lotterie, eng Approche déi och an der Ëmfrohforschung benotzt gouf (Halpern et al. 2011) . Fir méi iwwer erfreedlech Benotzer Erfahrungen ze Toomim et al. (2011) , kuckt Toomim et al. (2011) . Fir méi iwwer d'Benotzung vu bots fir Null Variabel Käschte Experimenter ze gesinn ( ??? ) .

• Ersetzen, refinanzéieren an reduzéieren (Abschnitt 4.6.2)

Déi dräi R 's wéi ursprünglech vu Russell and Burch (1959) sinn:

"Ersatz heescht de Wiessel fir bewosst Liewensstandard héich Déieren vun insentient Material. Reduktioun heescht Reduktioun vun der Zuel vun Déieren benotzt Informatiounen vun enger bestëmmter Zomm a Präzisioun ze kréien. Refinement heescht keng Ofsenkung vun der Heefegkeet oder Gravitéit vun inhumane Prozeduren fir déi Déieren applizéiert deen haut nach benotzt muss ginn. "

Déi dräi R, déi ech proposéieren, net déi ethesch Prinzipien ofschléissen, déi am Kapitel 6 beschriwwe sinn. Se sinn eng méi entwéckelt Versioun ee vun dëse Prinzipien-Beneficer-spezifesch an der Manéier vu Mënscherexperimenten.

Am Sënn vun der éischter R ("Ersatz"), mat der Verännerung vum emotionalen Ansteckungsexperiment (Kramer, Guillory, and Hancock 2014) an dem emotionalen Nolausféierungsexperiment (Lorenzo Coviello et al. 2014) proposéiert allgemeng Lektiounen iwwer d'Handelsofsen Aus Beweegunge vu Experimenter op natirlech Experimenten (an aner Approchen wéi de Match versichen Experimenter an net experimentelle Daten unzegoen, siehe Kapitel 2). Niewent der ethescher Virdeeler, aus dem Experiment vun net experimentellen Etüden iwwerschloëen och Forscher fir Behandlungen ze studéieren, déi se logistesch net ze plangen. Dës ethesch a logistesch Virdeeler kommen zu engem Käschtepunkt. Natierlech Experimenter hunn d'Fuerscher manner Kontrolle iwwer Saachen wéi d'Recrutement vun de Participanten, d'Randomiséierung an d'Natur vun der Behandlung. Zum Beispill gëtt eng Limitatioun vun Dréchnen als eng Behandlungen, datt et eng Positivitéit erhéicht an d'Negativitéit verringert. An der experimenteller Etude konnten awer Kramer a Kollegen d'Positivitéit an d'Negativitéit onofhängeg maachen. Déi speziell Approche vum Lorenzo Coviello et al. (2014) war weider ausgewiesselt vum L. Coviello, Fowler, and Franceschetti (2014) . Fir eng Introduktioun u Instrumentalvariablen, déi d'Approche vum Lorenzo Coviello et al. (2014) , kuck Angrist and Pischke (2009) (manner formell) oder Angrist, Imbens, and Rubin (1996) (méi formell). Fir eng skeptesch Appraisal vun instrumentellem Variablen, kuckt Deaton (2010) , an eng Introduktioun mat Instrumentalvariablen mat schwächlechen Instrumenter (Reen ass e schwach Instrument), kuckt Murray (2006) . Am allgemengen ass eng gutt Uerdnung zu natierleche Experimenten Dunning (2012) , während Rosenbaum (2002) , ( ??? ) a Shadish, Cook, and Campbell (2001) gutt Iddien iwwer d'Schätzung vun kausalen Effekter ouni Experiment unzebidden.

Am Sënn vun der zweet R ("Raffinement") sinn et wëssenschaftlech a logistesch Handelsofänge wann Dir d'Konzept vun emotionalen Verännerungen un d'Verännerung vun de Posten opgestallt huet. Zum Beispill kann et de Fall sinn datt d'technesch Realisatioun vum News Feed et erliewbar erliewt, en Experiment ze maachen, an deem d'Poste blockéiert sinn an net wéi en an deem se agefouert ginn (Notiz datt e Experiment mat Blockéierungspläng anzeféieren kéint implementéiert ginn als Schicht am Top vun der News Feed System ouni néideg Verännerungen vum Basisgeschäfter). Wëssenschaftlech ass awer d'Theorie, déi vum Experiment bewäerten, net kloer weist datt et e Design iwwert dem anere gëtt. Leider weess ech net wesentlech priori Fuerschued iwwert déi relative Verdônger vu Blockéier a verbannen d'Inhalter am News Feed. Och ech hunn et vill Recherchen iwwer Raffinerie gesicht, fir se manner schued ze maachen. Eng Ausnam ass B. Jones and Feamster (2015) , déi d'Mesure vun der Internetzensur betraff (eng Thema ech diskutéieren am Kapitel 6 am Zesummenhang mat der Encore-Studie (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Am Sënn vun der drëtter R (Reduktioun) sinn e gudde Präis vun der traditioneller Machtanalyse vum Cohen (1988) Buch) an Cohen (1992) (Artikel), während Gelman and Carlin (2014) eng liicht aner Perspektiv bidden. Virbereedung covariates kann an der Entworf an der Analyse vun Experimenten agefouert ginn; Am Kapitel 4 vun Gerber and Green (2012) gëtt eng gutt Iddi fir déi zwee Approche, an Casella (2008) stellt eng méi detailléiert Behandlung. Techniken, déi dës Pre-Behandlungs-Informatioun bei der Randomisatioun benotzen, sinn typesch entweder blockéiert experimentell Konzepter oder stratifizéiert experimentell Konzepter (déi Terminologie gëtt net konsistent iwwer Gemeinschaften benotzt); Dës Techniken sinn eng Zesummenaarbecht mat de stratifizéierter Proufstechniken, déi am Kapitel 3 diskutéiert ginn. Higgins, Sävje, and Sekhon (2016) fir méi iwwer dës Entworf an massiven Experimenten ze benotzen. Virbereedung Kovariater kënnen och an der Analysephase agefouert ginn. McKenzie (2012) erfëllt d'Differenz-In-Differenzen Approche fir Analyse Feld Experimenter méi detailléiert ze analyséieren. Kuckt Carneiro, Lee, and Wilhelm (2016) fir méi iwwer d'Handelsofsen tëschent verschidden Approche fir Präzisioun ze erhéijen an Schätzungen vun Behandlungsofwier. Schliisslech, wann se entscheeden ob se versichen, covariates vun der präventiv Behandlung am Entwëck oder der Analysephase (oder zwee) ze schloen, et ginn e puer Faktoren ze beroden. An enger Ambitioun, wou Fuerscher sech weisen, datt se net "Fëscher" sinn (Humphreys, Sierra, and Windt 2013) , kënne Virbereedung kovariates an der Entwurfsphase hëlleft (Higgins, Sävje, and Sekhon 2016) . An Situatiounen, wou d'Participanten sequentiell arrangéieren, besonnesch Ufroen vum Online-Feld Experimenter, d'Virbehandlungsinformatioun an der Entwurfsphase kann schwiereg logistesch sinn; Zum Beispill, Xie and Aurisset (2016) .

Et ass derwäert, datt et e puer Intuition huet, firwat een Ënnerscheed tëscht Differenzen kann esou vill méi effektiv sinn wéi e Differenz-an-Mëttelen. Vill Online-Resultater hunn eng grouss Varianz (kuckt zB RA Lewis and Rao (2015) an Lamb et al. (2015) ) a sinn relativ stabil mat der Zäit. An dësem Fall ännert d'Ännerung awer wesentlech kleng Varianz, d'Erhéijung vun der Muecht vum statisteschen Test. Eng Ursaach dës Approche gëtt net méi oft benotzt, datt virun der Digital Age ass et net üblech fir Preventioun vu Resultater ze hunn. Eng méi konkret Manéier fir dëst ze denken ass eng Experiment fir ze mellen, ob eng spezifesch Bewegung Routine verursaacht Gewiicht ass. Wann Dir eng Differenz-an-Moyene-Approche erlabt, wäert Är Schätzung Variabilitéit hunn, déi aus der Variabilitéit vun de Gewichte an der Bevëlkerung entstinn. Wann Dir eng Differenz-In-Differenzen Approche maacht, ass awer datt déi natierlech Variant vu Gewichte ofgeschaaft gëtt an Dir kënnt e méi liicht ënnerscheeden duerch d'Behandlung.

Schlussendlech hu mer geduecht datt et eng véiert R "addéieren". Dat ass, wann d'Fuerscher mat méi experimentellen Daten fannen si wéi hir hir ursprénglech Fuerscher Froen ze bewäerten, sollen se d'Daten erëm opkucken fir nei Froen ze froen. Zum Beispill, sech virstellen datt Kramer a Kollegen eng Differenz-in-Differenze Schätzung benotzt hunn a sech mat méi Daten fonnt hunn wéi se brauchen fir hir Fuerscher Froen ze bewäerten. Nëmme wéi d'Daten net am allgemenge Fall benotzen, si hätten d'Gréisst vum Effekt als Funktioun vun der emotionaler Prémiër behandelt. Just wéi Schultz et al. (2007) festgestallt, datt den Effekt vun der Behandlung differenzéiert war fir liicht a schwiereg Benotzer, vläicht d'Effekter vum News Feed waren verschidden fir Leit, déi scho glécklech (oder traureg) Messagen verloossen. D'Verherrlechtung kann zu "Fëscher" (Humphreys, Sierra, and Windt 2013) a "p-hacking" (Simmons, Nelson, and Simonsohn 2011) . Dës sinn awer meeschtens mat enger Kombinatioun vun ehrlechem Rapport (Simmons, Nelson, and Simonsohn 2011) , Pre-Registrierung (Humphreys, Sierra, and Windt 2013) , an Maschinenzuchmethoden déi versicht ze vermeiden, datt ech ze passen.