Unsa ang basahon sa sunod

hubad Kini nga gibuhat sa usa ka computer. ×

Unsa ang basahon sa sunod

Pasiuna (seksyon 4.1)

Ang mga pangutana kabahin sa causality sa social research kasagaran komplikado ug makuti. Alang sa usa ka sukaranan nga pamaagi sa causality base sa causal graphs, tan-awa ang Pearl (2009) , ug alang sa usa ka sukaranan nga pamaagi base sa posibleng resulta, tan-awa ang Imbens and Rubin (2015) . Alang sa pagtandi tali niining duha ka pamaagi, tan-awa ang Morgan and Winship (2014) . Alang sa usa ka pormal nga pamaagi sa pagpatin-aw sa usa ka tigpasiugda, tan-awa ang VanderWeele and Shpitser (2013) .

Niini nga kapitulo, gihimo nako ang daw usa ka mahayag nga linya tali sa among abilidad sa paghimo sa mga hinungdan nga mga pagbanabana gikan sa datos sa eksperimento ug dili eksperimento. Bisan pa, sa akong hunahuna nga, sa pagkatinuod, ang kalainan labi pa nga dili mapakyas. Pananglitan, ang tanan midawat nga ang pagpanigarilyo maoy hinungdan sa kanser, bisan pa walay gipugngan nga eksperimento nga nagpugos sa mga tawo sa pagpanigarilyo nga nahimo na sukad. Alang sa labing maayo nga paggahin sa basahon sa paghimo sa mga hinungdan nga mga pagbanabana gikan sa dili eksperimentong datos makita ang Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , ug Dunning (2012) .

Mga kapitulo 1 ug 2 sa Freedman, Pisani, and Purves (2007) naghatag og usa ka tin-aw nga pasiuna sa mga kalainan tali sa mga eksperimento, kontrolado nga mga eksperimento, ug mga nagkalain-laing kontrolado nga mga eksperimento.

Manzi (2012) naghatag og usa ka makalingaw ug mabasa nga pasiuna sa pilosopiya ug statistical nga mga pagsulundan sa mga nagkalain-lain nga kontrolado nga mga eksperimento. Naghatag usab kini og makapaikag nga mga ehemplo sa tinuod nga kalibutan sa gahum sa eksperimento sa negosyo. Issenberg (2012) naghatag og usa ka makalingaw nga pasiuna sa paggamit sa eksperimento sa mga kampanya sa politika.

Unsa ang mga eksperimento? (seksyon 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ug Athey and Imbens (2016b) naghatag og maayong pagpaila sa mga istatistikong aspeto sa disenyo ug pag-analisar sa eksperimento. Dugang pa, adunay maayo kaayo nga mga tambal sa paggamit sa mga eksperimento sa daghang lain-laing mga kaumahan: economics (Bardsley et al. 2009) , Sosyolohiya (Willer and Walker 2007; Jackson and Cox 2013) , sikolohiya (Aronson et al. 1989) , Sa politika siyensiya (Morton and Williams 2010) , ug social policy (Glennerster and Takavarasha 2013) .

Ang kahinungdanon sa pag-recruit sa pag-apil (pananglitan, sampling) sa kasagaran dili mapasalamatan sa panukiduki sa eksperimento. Apan, kung ang epekto sa pagtambal usa ka heterogeneous sa populasyon, nan ang sampling kritikal. Longford (1999) naghimo niining punto sa tin-aw sa dihang siya nagpasiugda alang sa mga tigdukiduki nga naghunahuna sa mga eksperimento isip usa ka survey sa populasyon nga adunay dili takus nga sampling.

Duha ka sukod sa eksperimento: lab-field ug analog-digital (seksyon 4.3)

Gisugyot ko nga adunay usa ka continuum tali sa mga eksperimento sa lab ug field, ug ang uban nga mga tigdukiduki nagsugyot og mas detalyado nga mga tipikal, ilabi na nga nagbahin sa nagkalain-laing porma sa mga eksperimento sa uma (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Ang usa ka gidaghanon sa mga papel nga nag-andam sa mga eksperimento sa lab ug field sa abstract (Falk and Heckman 2009; Cialdini 2009) ug sa mga termino sa resulta sa piho nga mga eksperimento sa siyensiya sa politika (Coppock and Green 2015) , ekonomiya (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ug psychology (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nagtanyag og nindot nga disenyo sa pagtuon sa pagtandi sa mga resulta gikan sa mga eksperimento sa lab ug sa field. Parigi, Santana, and Cook (2017) kon sa unsa nga paagi nga ang mga eksperimento sa online nga mga field mahimong maghiusa sa pipila ka mga kinaiya sa mga eksperimento sa lab ug sa field.

Ang kabalaka bahin sa mga partisipante nga nagbag-o sa ilang kinaiya tungod kay sila nahibal-an nga sila paga-obserbahan usahay gitawag nga demand effect , ug sila gitun-an sa psychology (Orne 1962) ug economics (Zizzo 2010) . Bisan ang kadaghanan nga may kalabutan sa mga eksperimento sa lab, ang sama nga mga isyu mahimo usab nga hinungdan sa mga problema alang sa mga eksperimento sa uma. Sa pagkatinuod, ang panginahanglan nga mga epekto usab usahay gitawag nga mga epekto sa Hawthorne , usa ka termino nga naggikan sa mga eksperimento sa pagsidlak nga nagsugod niadtong 1924 sa Hawthorne Works sa Western Electric Company (Adair 1984; Levitt and List 2011) . Ang duha nagkinahanglan og mga epekto ug ang mga epekto sa Hawthorne suod nga may kalabutan sa ideya sa reaktibo nga pagsukod nga gihisgutan sa kapitulo 2 (tan-awa usab sa Webb et al. (1966) ).

Ang mga eksperimento sa uma adunay dugay nga kasaysayan sa ekonomiya (Levitt and List 2009) , politikal nga siyensiya (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , sikolohiya (Shadish 2002) , ug public policy (Shadish and Cook 2009) . Usa ka dapit sa social science diin ang mga eksperimento sa kapatagan dali nga nahimong prominente mao ang internasyonal nga kalamboan. Alang sa usa ka positibo nga pagribyu sa maong buhat sulod sa ekonomiya tan-awa ang Banerjee and Duflo (2009) , ug alang sa usa ka kritikal nga pagtan-aw tan-awa ang Deaton (2010) . Alang sa usa ka pagrepaso sa kini nga buhat sa politikal nga siyensya makita ang Humphreys and Weinstein (2009) . Sa katapusan, ang mga hagit sa pamatasan nga gikan sa mga eksperimento sa natad sa (Humphreys 2015; Desposato 2016b) gisiksik sa konteksto sa siyensiya sa politika (Humphreys 2015; Desposato 2016b) ug ekonomiya sa kalamboan (Baele 2013) .

Niini nga seksyon, misugyot ko nga ang impormasyon sa pre-treatment mahimong gamiton aron mapalambo ang katukma sa gibana-bana nga mga epekto sa pagtambal, apan adunay pipila ka mga debate mahitungod niini nga pamaagi; tan-awa ang Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ug Bloniarz et al. (2016) alang sa dugang kasayuran.

Sa katapusan, adunay laing duha ka matang sa mga eksperimento nga gipahigayon sa mga sosyal nga siyentipiko nga dili hapsay nga gisubay sa dimensyon sa lab-field: mga eksperimento sa pagsurbi ug mga eksperimento sa sosyal. Ang mga eksperimento sa survey mga eksperimento gamit ang imprastruktura sa kasamtangan nga mga survey ug itandi ang mga tubag sa mga alternatibong bersyon sa susamang mga pangutana (ang pipila nga mga eksperimento sa pagtuon gipresentar sa Kapitulo 3); alang sa dugang sa mga eksperimento sa pagsusi makita ang Mutz (2011) . Ang mga eksperimento sa sosyal mga eksperimento kung diin ang pagtambal mao ang pipila ka polisiya sa katilingban nga mahimo lamang ipatuman sa gobyerno. Ang mga eksperimento sa panlipunan suod nga may kalabutan sa evaluation sa programa. Alang sa dugang sa mga eksperimento sa palisiya, tan-awa ang Heckman and Smith (1995) , Orr (1998) , ug @ glennerster_running_2013.

Pagbalhin lapas sa yanong mga eksperimento (seksyon 4.4)

Gipili nako ang pag-focus sa tulo ka konsepto: pagkakasaligan, heterogeneity sa mga epekto sa pagtambal, ug mekanismo. Kini nga mga konsepto adunay nagkalainlain nga mga ngalan sa lainlaing mga natad. Pananglitan, ang mga psychologist nga nag-uswag sa mga yanong eksperimento pinaagi sa pagpunting sa mga tigpataliwala ug mga moderator (Baron and Kenny 1986) . Ang ideya sa mga tigpundok nabihag sa unsay gitawag ko nga mga mekanismo, ug ang ideya sa mga moderator nga nabihag sa akong gitawag nga eksternal nga balido (pananglitan, ang mga resulta sa eksperimento magkalahi kon kini gidagan sa lainlaing mga sitwasyon) ug heterogeneity sa mga epekto sa pagtambal ( pananglitan, ang mga epekto mas dako alang sa pipila ka mga tawo kaysa sa uban).

Ang eksperimento ni Schultz et al. (2007) nagpakita kung giunsa paggamit ang sosyal nga mga teorya sa pag-plano sa mga epektibong interbensyon. Alang sa mas heneral nga argumento bahin sa papel sa teorya sa pagplano sa mga epektibo nga interbensyon, tan-awa ang Walton (2014) .

Pag-ila (seksyon 4.4.1)

Ang mga konsepto sa internal ug eksternal nga balido unang gipaila sa Campbell (1957) . Tan-awa ang Shadish, Cook, and Campbell (2001) alang sa usa ka labaw nga detalyado nga kasaysayan ug usa ka mabinantayon nga pagsaysay sa statistical conclusion validity, internal validity, pagtukod sa balido, ug eksternal nga balido.

Alang sa kinatibuk-ang panglantaw sa mga isyu nga may kalabutan sa statistical conclusion validity sa eksperimento tan-awa ang Gerber and Green (2012) (gikan sa sosyal nga panglantaw sa siyensya) ug Imbens and Rubin (2015) (gikan sa estatistika nga panglantaw). Ang pipila nga mga isyu sa statistical conclusion nga balido nga mitumaw nga espesipiko sa mga eksperimento sa online nga mga field naglakip sa mga isyu sama sa episyente nga pamaagi alang sa pagmugna sa pagsalig sa mga pagsalig nga adunay dependent nga datos (Bakshy and Eckles 2013) .

Ang pagkatinuod sa sulod mahimong malisod aron masiguro ang komplikadong mga eksperimento sa kapatagan. Pananglitan, tan-awa ang Gerber and Green (2000) , Imai (2005) , ug Gerber and Green (2005) alang sa pagdebate mahitungod sa pagpatuman sa usa ka komplikadong eksperimento sa field mahitungod sa pagboto. Kohavi et al. (2012) ug Kohavi et al. (2013) naghatag sa usa ka pasiuna sa mga hagit sa kalig-on sa interval diha sa mga eksperimento sa online nga natad.

Usa ka dakong hulga sa pagkatinuod sa sulod mao ang posibilidad nga mapakyas ang pagkasayop. Ang usa ka potensyal nga paagi sa pag-ila sa mga problema sa randomization mao ang pagtandi sa mga pagtambal ug pagkontrol nga mga grupo sa makita nga mga kinaiya. Kini nga matang sa pagtandi gitawag nga balance check . Tan-awa ang Hansen and Bowers (2008) alang sa usa ka statistical nga pamaagi sa Mutz and Pemantle (2015) tseke ug Mutz and Pemantle (2015) alang sa mga kabalaka kalabot sa mga balance check. Pananglitan, sa paggamit sa balance check, ang Allcott (2011) nakakaplag sa pipila ka ebidensya nga ang randomization wala ipatuman sa husto sa tulo sa mga eksperimento sa Opower (tan-awa ang table 2; mga site 2, 6, ug 8). Alang sa ubang mga pamaagi, tan-awa ang kapitulo 21 sa Imbens and Rubin (2015) .

Ang uban pang mga mayor nga problema nga may kalabutan sa sulod mao ang: (1) us aka panig-ingnan nga dili komplikasyon, diin dili ang tanan sa grupo sa pagtambal ang tinuod nga nakadawat sa pagtambal, (2) duha ka panig nga dili matuman, diin dili tanan sa grupo sa pagtambal nakadawat sa pagtambal ug pipila ka mga tawo ang control group makadawat sa pagtambal, (3) pagkasakit, diin ang resulta dili masukod alang sa pipila ka mga partisipante, ug (4) panghilabot, diin ang pagtambal nahulog gikan sa mga tawo sa kondisyon sa pagtambal ngadto sa mga tawo nga anaa sa pagkontrol sa kondisyon. Tan-awa ang mga kapitulo 5, 6, 7, ug 8 sa Gerber and Green (2012) alang sa dugang sa matag usa niini nga mga isyu.

Alang sa dugang sa pagtukod sa balido, tan-awa ang Westen and Rosenthal (2003) , ug alang sa dugang sa pagtukod sa balido sa dagkong tinubdan sa datos, Lazer (2015) ug kapitulo 2 niini nga basahon.

Usa ka aspeto sa eksternal nga balido mao ang kahimtang diin ang interbensyon gisulayan. Allcott (2015) naghatag sa usa ka maampingong teoretikal ug empirical nga pagtambal sa bias sa pagpili sa dapit. Kini nga isyu gihisgutan usab ni Deaton (2010) . Ang laing aspeto sa eksternal nga balido mao ang alternatibong operationalisasyon sa samang interbensyon adunay susama nga mga epekto. Sa kini nga kaso, usa ka pagtandi tali sa Schultz et al. (2007) ug Allcott (2011) nagpakita nga ang Opower nga mga eksperimento dunay gamay nga gibana-bana nga pagtagad nga epekto kaysa sa orihinal nga mga eksperimento ni Schultz ug mga kaubanan (1.7% kumpara sa 5%). Allcott (2011) naghunahuna nga ang mosunod nga mga eksperimento adunay mas gamay nga epekto tungod sa mga paagi diin ang pagtambal magkalahi: usa ka sinulat nga emoticon isip bahin sa usa ka pagtuon nga gipasiugdahan sa usa ka unibersidad, itandi sa gipatik nga emoticon isip kabahin sa usa ka masa report gikan sa usa ka kompaniya sa kuryente.

Ang heterogeneity sa mga epekto sa pagtambal (seksyon 4.4.2)

Alang sa usa ka maayo kaayo nga kinatibuk-ang panglantaw sa heterogeneity sa mga epekto sa pagtambal sa eksperimento sa natad, tan-awa ang kapitulo 12 sa Gerber and Green (2012) . Alang sa pagpaila sa heterogeneity sa mga epekto sa pagtambal sa mga pagsulay sa medisina, tan-awa ang Kent and Hayward (2007) , Longford (1999) , ug Kravitz, Duan, and Braslow (2004) . Ang mga pagtagad sa heterogeneity sa mga epekto sa pagtambal kasagaran nagpunting sa kalainan base sa mga kinaiya sa pre-treatment. Kung ikaw interesado sa heterogeneity nga gibase sa mga out-treatment outcomes, nan mas komplikado nga pamaagi ang gikinahanglan, sama sa principal stratification (Frangakis and Rubin 2002) ; tan-awa ang Page et al. (2015) alang sa usa ka pagrepaso.

Gibanabana sa daghang tigdukiduki ang heterogeneity sa mga epekto sa pagtambal gamit ang linear regression, apan ang mas bag-o nga mga pamaagi nagsalig sa pagkat-on sa makina; tan-awa, sama pananglit, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ug Athey and Imbens (2016a) .

Adunay pipila nga pagduhaduha mahitungod sa mga nahibal-an nga heterogeneity sa mga epekto tungod sa daghang mga problema sa pagtandi ug "pagpangisda." Adunay nagkalainlaing mga pamaagi sa pagtuon nga makatabang pagsulbad sa mga kabalaka mahitungod sa daghang pagtandi (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Ang usa ka pamaagi sa mga kabalaka mahitungod sa "pagpangisda" mao ang pre-registration, nga nahimong mas komon sa psychology (Nosek and Lakens 2014) , siyentipikong politikal (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ug ekonomiya (Olken 2015) .

Sa pagtuon ni Costa and Kahn (2013) mga katunga lamang sa mga panimalay sa eksperimento mahimong nalambigit sa impormasyon sa demograpiko. Ang mga magbabasa nga interesado niini nga mga detalye kinahanglan nga maghisgot sa orihinal nga papel.

Mga mekanismo (seksyon 4.4.3)

Ang mga mekanismo mahinungdanon kaayo, apan kini lisud nga tun-an. Ang panukiduki bahin sa mga mekanismo suod nga may kalambigitan sa pagtuon sa mga mediator sa sikolohiya (apan tan-awa usab ang VanderWeele (2009) alang sa tukmang pagtandi tali sa duha ka mga ideya). Ang mga pamaagi sa pagpangita sa mga mekanismo, sama sa pamaagi nga gihimo sa Baron and Kenny (1986) , komon kaayo. Sa kasubo, kini nga mga pamaagi nagdepende sa pipila ka lig-on nga mga panghunahuna (Bullock, Green, and Ha 2010) ug nag-antus sa adunay daghang mga mekanismo, sama sa mahimo nga madahom sa daghang mga sitwasyon (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ug Imai and Yamamoto (2013) nagtanyag sa pipila ka mas maayo nga pamaagi sa estadistika. Dugang pa, ang VanderWeele (2015) nagtanyag sa usa ka libro nga gitas-on nga pagtambal uban ang daghang importanteng mga resulta, lakip ang usa ka komprehensibong pamaagi sa pagsusi sa pagkasensitibo.

Ang usa ka lahi nga pamaagi nagpunting sa mga eksperimento nga misulay sa pagmaniobra sa mekanismo nga direkta (pananglitan, paghatag sa mga marinero nga bitamina C). Ikasubo, sa daghang mga setting sa social science, kanunay adunay daghang mga mekanismo ug lisud ang pagdisenyo sa mga pagtambal nga mag-usob sa usa nga dili mausab ang uban. Ang pipila ka mga pamaagi sa pag-usab sa mga mekanismo nga gi-eksperimento gihulagway ni Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ug Pirlott and MacKinnon (2016) .

Ang mga tigdukiduki nga nagpadagan sa hingpit nga mga eksperimento nga pang-factorial kinahanglan nga mabalaka mahitungod sa daghan nga pagsulay sa panghunahuna; tan-awa ang Fink, McConnell, and Vollmer (2014) ug List, Shaikh, and Xu (2016) alang sa dugang kasayuran.

Sa katapusan, ang mga mekanismo usab adunay taas nga kasaysayan sa pilosopiya sa siyensiya nga gihulagway ni Hedström and Ylikoski (2010) .

Paggamit sa anaa nga mga palibot (seksyon 4.5.1)

Alang sa dugang sa paggamit sa mga pagtuon sa pagtuon ug pagtuon sa pag-audit aron pagsukod sa diskriminasyon, tan-awa ang Pager (2007) .

Pagtukod sa imong kaugalingong eksperimento (seksyon 4.5.2)

Ang labing komon nga paagi sa pag-recruit sa mga partisipante sa mga eksperimento nga imong gitukod mao ang Amazon Mechanical Turk (MTurk). Tungod kay ang MTurk nagsumikad sa mga aspeto sa mga eksperimento sa laboratoryo-nga nagbayad sa mga tawo aron makompleto ang mga buluhaton nga dili nila mahimo alang sa libre-daghang mga tigdukiduki ang nagsugod na sa paggamit sa mga Turkers (mga mamumuo sa MTurk) isip mga sumasalmot sa eksperimento, nga moresulta sa mas madali ug mas barato nga pagkolekta sa datos kay sa mahimo nga makab-ot sa mga eksperimento sa tradisyonal nga on-campus laboratoryo (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Sa kinatibuk-an, ang pinakadako nga mga bentaha sa paggamit sa mga partisipante nga girekrut gikan sa MTurk mga logistical. Samtang ang mga eksperimento sa laboratoryo mahimong mogahin og daghang mga semana sa pagdagan ug ang mga eksperimento sa field mahimong molungtad og daghang bulan aron maka-set up, ang mga eksperimento uban sa mga partisipante nga girekrut gikan sa MTurk mahimong modagan sa mga adlaw. Pananglitan, si Berinsky, Huber, and Lenz (2012) naka-recruit sa 400 ka mga subject sulod sa usa ka adlaw aron makaapil sa 8 minutos nga eksperimento. Dugang pa, kini nga mga partisipante mahimong recruit alang sa bisan unsang katuyoan (lakip ang mga survey ug kolaborasyon sa masa, nga gihisgutan sa mga kapitulo 3 ug 5). Kini nga kasayon sa pagrekrut nagpasabot nga ang mga tigdukiduki makahimo sa mga sunod-sunod nga mga eksperimento sa dali nga pagsunod.

Sa dili pa pag-recruit sa mga partisipante gikan sa MTurk alang sa imong kaugalingon nga mga eksperimento, adunay upat ka importante nga mga butang nga kinahanglan nimong masayran. Una, daghan nga mga tigdukiduki ang adunay walay pagduha-duha sa mga eksperimento nga naglangkit sa Turkers. Tungod kay kini nga pagduhaduha dili espesipiko, lisud nga kontrahon ang ebidensya. Apan, human sa pipila ka mga tuig nga pagtuon gamit ang mga Turkista, makahinapos na kita nga kini nga pagduhaduha dili kaayo gipakamatarung. Adunay daghan nga pagtuon nga nagtandi sa mga demograpiko sa mga Turkista uban sa ubang mga populasyon ug daghan nga mga pagtuon nga nagtandi sa mga resulta sa mga eksperimento uban sa mga taga-Turkter nga gikan sa ubang mga populasyon. Tungod sa tanan niini nga buhat, sa akong hunahuna nga ang pinakamaayo nga paagi nga imong hunahunaon kini mao nga ang Turkers usa ka makatarunganon nga sample nga kasayon, sama sa mga estudyante apan mas nagkadaiya (Berinsky, Huber, and Lenz 2012) . Busa, sama nga ang mga estudyante usa ka makatarunganon nga populasyon alang sa pipila, apan dili ang tanan, pagpanukiduki, ang Turkers usa ka makatarunganon nga populasyon alang sa pipila, apan dili ang tanan, pagpanukiduki. Kon makigtrabaho ka sa mga Turkista, makatarunganon nga mabasa ang daghan niini nga pagtuon ug pagsabut sa ilang mga nuances.

Ikaduha, ang mga tigdukiduki nakamugna sa labing maayo nga mga pamaagi alang sa pagdugang sa internal nga balido sa mga eksperimento sa MTurk, ug kinahanglan nga imong mahibal-an ug sundon kining mga maayo nga binuhatan (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Pananglitan, ang mga tigdukiduki nga naggamit sa Turkers giawhag nga gamiton ang mga screeners aron mawagtang ang mga (Berinsky, Margolis, and Sances 2014, 2016) walay pagtagad (Berinsky, Margolis, and Sances 2014, 2016) (apan tan-awa usab ang DJ Hauser and Schwarz (2015b) ug DJ Hauser and Schwarz (2015a) ). Kon dili ka magwagtang sa mga dili interesado nga mga partisipante, nan ang bisan unsa nga epekto sa pagtambal mahimong mahugasan pinaagi sa kasaba nga ilang ipaila, ug sa praktis ang gidaghanon sa mga dili makatandog nga mga partisipante mahimong dako. Sa eksperimento ni Huber ug mga kaubanan (2012) , mga 30% sa mga partisipante napakyas nga mga screeners sa pagtagad. Ang ubang mga suliran nga kasagarang motungha sa dihang gigamit ang mga Turker mao ang mga dili puy-anan nga mga partisipante (Chandler et al. 2015) ug pag-atake (Zhou and Fishbach 2016) .

Ikatulo, kon itandi sa uban pang mga porma sa mga digital nga mga eksperimento, ang mga eksperimento sa MTurk dili ma-scale; Stewart et al. (2015) gibana-bana nga sa bisan unsa nga panahon adunay mga 7,000 ka mga tawo lamang sa MTurk.

Sa katapusan, angay nimong masayran nga ang MTurk usa ka komunidad nga adunay kaugalingong mga lagda ug mga lagda (Mason and Suri 2012) . Sa sama nga paagi nga imong sulayan ang pagpangita mahitungod sa kultura sa usa ka nasod diin ikaw modagan sa imong mga eksperimento, kinahanglan nimong sulayan ang pagpangita sa dugang mahitungod sa kultura ug mga lagda sa Turkers (Salehi et al. 2015) . Ug angay nimong masayran nga ang mga Turkista maghisgot mahitungod sa imong eksperimento kon imong buhaton ang usa ka butang nga dili angay o dili maayo (Gray et al. 2016) .

Ang MTurk usa ka talagsaon nga paagi aron makarekrut sa mga partisipante sa imong mga eksperimento, sama man sila sa lab, sama sa Huber, Hill, and Lenz (2012) , o labaw pa sa field, sama sa Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ug Mao et al. (2016) .

Pagtukod sa imong kaugalingong produkto (seksyon 4.5.3)

Kon naghunahuna ka sa pagpaningkamot sa pagmugna sa imong kaugalingon nga produkto, girekomendar ko nga basahon nimo ang tambag nga gitanyag sa grupo sa MovieLens sa Harper and Konstan (2015) . Usa ka mahinungdanon nga pagsabut gikan sa ilang kasinatian mao nga alang sa matag malampuson nga proyekto adunay daghan, daghang mga kapakyasan. Pananglitan, ang grupo sa MovieLens naglunsad sa ubang mga produkto, sama sa GopherAnswers, nga kompleto nga mga kapakyasan (Harper and Konstan 2015) . Ang laing pananglitan sa usa ka tigdukiduki nga napakyas samtang naningkamot sa pagtukod sa usa ka produkto mao ang pagsulay ni Edward Castronova sa pagtukod og online game nga gitawag og Arden. Bisan pa sa $ 250,000 nga pondo, ang proyekto usa ka flop (Baker 2008) . Ang mga proyekto sama sa GopherAnswers ug Arden masami nga mas komon kay sa mga proyekto sama sa MovieLens.

Kauban sa gamhanan (seksyon 4.5.4)

Nadungog ko ang ideya sa Quadrant ni Pasteur kanunay nga gihisgutan sa mga tech nga mga kompaniya, ug kini makatabang sa pag-organisar sa pagpaningkamot sa paniksik sa Google (Spector, Norvig, and Petrov 2012) .

Ang pagtuon sa Bond and colleagues (2012) usab naningkamot sa pag-ila sa epekto niini nga mga pagtambal sa mga higala niadtong nakadawat niini. Tungod sa disenyo sa eksperimento, kini nga mga spillovers lisud nga makita nga limpyo; ang mga interesado nga magbabasa kinahanglan makakita sa Bond et al. (2012) alang sa mas hingpit nga panaghisgot. Ang mga Jones ug mga kaubanan (2017) nagpahigayon usab og susama nga eksperimento atol sa 2012 nga eleksyon. Kini nga mga eksperimento kabahin sa usa ka taas nga tradisyon sa mga eksperimento sa politika sa paningkamot sa pagdasig sa pagboto (Green and Gerber 2015) . Kini nga mga eksperimento sa mga botante komon, sa bahin tungod kay anaa sila sa Quadrant ni Pasteur. Kana mao, adunay daghang mga tawo nga nadasig sa pagdugang sa pagbotar ug pagbotar mahimo nga usa ka makapaikag nga kinaiya aron masulayan ang mas daghang mga teyoriya mahitungod sa kausaban sa kinaiya ug sosyal nga impluwensya.

Alang sa mga tambag mahitungod sa pagdumala sa mga eksperimento sa kapatagan sa mga organisasyon sama sa mga partidong politikal, NGO, ug mga negosyo, tan-awa ang Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ug Gueron (2002) . Alang sa mga panghunahuna kon sa unsa nga paagi ang panag-uban sa mga organisasyon makaapekto sa mga disenyo sa panukiduki, tan-awa ang King et al. (2007) ug Green, Calfano, and Aronow (2014) . Ang panag-uban mahimo usab nga mosangpot sa mga pangutana sa pamatasan, sumala sa gihisgutan ni Humphreys (2015) ug Nickerson and Hyde (2016) .

Mga tambag sa disenyo (seksyon 4.6)

Kung nagpadulong ka paghimo og usa ka pagtuki sa plano sa dili pa magpadagan sa eksperimento, akong gisugyot nga magsugod ka pinaagi sa pagbasa sa mga giya sa pagtaho. Ang mga sumbanan sa CONSORT (Consolidated Standard Reporting of Trials) gipalambo sa medisina (Schulz et al. 2010) ug giusab alang sa social research (Mayo-Wilson et al. 2013) . Ang usa ka susama nga mga sumbanan nga gimugna sa mga editor sa Journal of Experimental Political Science (Gerber et al. 2014) (tan-awa usab ang Mutz and Pemantle (2015) ug Gerber et al. (2015) ). Sa katapusan, ang mga giya sa pagreport gipalambo sa sikolohiya (APA Working Group 2008) , ug tan-awa usab si Simmons, Nelson, and Simonsohn (2011) .

Kung maghimo ka og usa ka plano sa pagtuki, kinahanglan nga imong ikonsiderar ang pag-rehistro niini tungod kay ang pre-registration makadugang sa pagsalig nga nabatonan sa uban sa imong mga resulta. Dugang pa, kung nagtrabaho ka sa usa ka partner, kini makapa-limit sa imong abilidad sa pag-usab sa pag-usisa human makita ang mga resulta. Ang pre-registration nahimong mas komon sa psychology (Nosek and Lakens 2014) , siyentipikong politikal (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ug ekonomiya (Olken 2015) .

Gisulat nga tambag ilabi na ang mga eksperimento sa online field nga gipresentar usab sa Konstan and Chen (2007) ug Chen and Konstan (2015) .

Ang akong gitawag nga estratehiya sa armada usahay gitawag nga panukiduki sa programa ; tan-awa ang Wilson, Aronson, and Carlsmith (2010) .

Gihimo ang zero nga datos nga mga datos sa bili (seksyon 4.6.1)

Alang sa dugang pa sa mga eksperimento sa MusicLab, tan-awa ang Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ug Salganik (2007) . Alang sa dugang sa winner-take-all markets, tan-awa ang Frank and Cook (1996) . Alang sa dugang pa sa malaw-ay nga luck ug kahanas sa kinatibuk-an, tan-awa ang Mauboussin (2012) , Watts (2012) , ug Frank (2016) .

Adunay lain nga pamaagi sa pagwagtang sa mga pagbayad sa partisipante nga kinahanglan gamiton sa mga tigdukiduki uban ang pag-amping: pagguwardya. Sa daghan nga mga eksperimento sa online nga mga partisipante ang batakan nga gisulat ngadto sa mga eksperimento ug wala'y bayad. Ang mga panig-ingnan sa niini nga paagi naglakip sa Restivo ug van de Rijt's (2012) eksperimento sa mga ganti sa Wikipedia ug sa Bond ug kauban (2012) eksperimento sa pagdasig sa mga tawo sa pagboto. Kini nga mga eksperimento wala gayud adunay zero variable nga gasto-hinoon, kini walay zero cost variable sa mga tigdukiduki . Sa ingon nga mga eksperimento, bisan kung ang gasto sa kada partisipante gamay kaayo, ang aggregate nga gasto mahimong dako kaayo. Ang mga tigdukiduki nga nagdagan sa dagkong mga eksperiyong eksperimento sa kasagaran naghatag og katarungan sa kaimportante sa ginagmay nga gibana-bana nga mga epekto sa pagtambal pinaagi sa pag-ingon nga kining mga gagmay nga mga epekto mahimo nga importante kon ipadapat sa daghang tawo Ang tukmang samang panghunahuna magamit sa mga gasto nga gipahamtang sa mga tigdukiduki sa mga partisipante. Kung ang imong eksperimento maoy hinungdan sa usa ka milyon nga mga tawo nga pag-usik sa usa ka minuto, ang eksperimento dili kaayo makadaut sa bisan kinsa nga partikular nga tawo, apan sa kinatibuk-an kini nag-usik hapit duha ka tuig.

Ang laing pamaagi sa paghimo sa zero nga bayad nga bayad nga bayad ngadto sa mga partisipante mao ang paggamit sa usa ka loterya, usa ka pamaagi nga gigamit usab sa pagsiksik sa survey (Halpern et al. 2011) . Alang sa dugang mahitungod sa pagdisenyo sa makalingaw nga mga kasinatian sa user, tan-awa ang Toomim et al. (2011) . Alang sa dugang mahitungod sa paggamit sa bots aron sa paghimo sa zero nga mga variable nga mga eksperimento nga gasto tan-awa ( ??? ) .

Ibalik, Dalisayon, ug Bawasan (seksyon 4.6.2)

Ang tulo nga R nga orihinal nga gisugyot ni Russell and Burch (1959) mao ang mosunod:

"Replacement nagpasabot sa pagpuli alang sa panimuot buhi sa mas taas nga mga mananap sa insentient nga materyal. Pagkunhod nagpasabot pagkunhod sa gidaghanon sa mga mananap nga gigamit sa pag-angkon sa impormasyon sa usa ka gihatag nga kantidad ug tukma. Pagkalunsay nagpasabot sa bisan unsa nga pagkunhod sa mga insidente o ang pagkabangis sa dili makatawhanong pamaagi nga gigamit sa mga mananap nga adunay pa gamiton. "

Ang tulo nga R nga akong gisugyot dili mo-override sa mga prinsipyo sa pamatasan nga gihulagway sa kapitulo 6. Hinunoa, kini usa ka labi ka gipalabi nga bersyon sa usa sa mga prinsipyo-ang pagkamanggihatagon-ilabi na sa kahimtang sa mga eksperimento sa tawo.

Sa mga termino sa unang R ("kapuli"), ang pagtandi sa emosyonal nga eksperimento nga pagsulay (Kramer, Guillory, and Hancock 2014) ug ang emosyonal nga contagion natural nga eksperimento (Lorenzo Coviello et al. 2014) sa pagbalhin gikan sa mga eksperimento ngadto sa mga natural nga mga eksperimento (ug uban pang mga pamaagi sama sa pagtugma nga pagsulay sa pag-asoy sa mga eksperimento sa dili eksperimento nga datos; tan-awa ang kapitulo 2). Gawas pa sa mga benepisyo sa pamatasan, ang pagbalhin gikan sa eksperimento ngadto sa mga pagtuon nga dili eksperimento makapahimo usab sa mga tigdukiduki nga magtuon sa mga pagtambal nga sila dili makahimo sa paglihok. Hinuon, kini nga mga benepisyo sa pamatasan ug pang-logistik naggikan. Uban sa natural nga mga eksperimento ang mga tigdukiduki dili kaayo makontrolar sa mga butang sama sa pagrekrut sa mga partisipante, pagkasayop, ug sa kinaiya sa pagtambal. Pananglitan, ang usa ka limitasyon sa pag-ulan isip usa ka pagtambal mao nga kining duha nagdugang sa positibo ug nagpakunhod sa negatibo. Apan sa pagtuon sa eksperimento, ang Kramer ug mga kaubanan nakahimo sa pag-adjust sa positibo ug negatibo nga independente. Ang partikular nga paagi nga gigamit ni Lorenzo Coviello et al. (2014) dugang gipahayag ni L. Coviello, Fowler, and Franceschetti (2014) . Alang sa pasiuna sa mga instrumento sa instrumento, nga mao ang paagi nga gigamit ni Lorenzo Coviello et al. (2014) , tan-awa ang Angrist and Pischke (2009) (dili kaayo pormal) o Angrist, Imbens, and Rubin (1996) (mas pormal). Alang sa usa ka maduhaduhaong pagtan-aw sa mga instrumento sa instrumento, tan-awa ang Deaton (2010) , ug alang sa usa ka pasiuna sa mga instrumento sa instrumento nga adunay huyang nga mga instrumento (ang ulan usa ka mahuyang nga instrumento), tan-awa ang Murray (2006) . Sa kinatibuk-an, ang usa ka maayong introduksiyon sa natural nga mga eksperimento gihatag ni Dunning (2012) , samtang ang Rosenbaum (2002) , ( ??? ) , Ug Shadish, Cook, and Campbell (2001) naghatag og maayong mga ideya mahitungod sa pagbana-bana sa mga hinungdan nga mga epekto nga walay mga eksperimento.

Sa natad sa ikaduhang R ("refinement"), adunay mga siyentipiko ug logistical trade-offs kung hunahunaon nga usbon ang disenyo sa Emosional Contagion gikan sa pag-ali sa mga post aron pagpadako sa mga poste. Pananglitan, mahimo nga ang kaso nga ang teknikal nga pagpatuman sa News Feed naghimo nga mas sayon nga buhaton ang usa ka eksperimento diin ang mga posts gibabagan inay usa nga diin kini gipadako (timan-i nga ang usa ka eksperimento nga naglambigit sa pag-blocking sa mga post mahimong ipatuman ingon nga usa ka layer sa ibabaw sa sistema sa News Feed nga walay bisan unsang panginahanglan alang sa pag-usab sa sistema nga nagpahipi). Apan, sa siyentipikanhon, ang teoriya nga gisulbad sa eksperimento dili tin-aw nga nagsugyot sa usa ka disenyo sa pikas. Ikasubo, wala ako nakahibalo sa igo nga una nga panukiduki mahitungod sa mga maayo nga kaayohan sa pag-ali ug pagpauswag sa sulod sa News Feed. Usab, wala ako makakita og daghan nga panukiduki mahitungod sa pagdalisay nga mga pagtambal aron dili kaayo makadaut; usa ka eksepsiyon mao ang B. Jones and Feamster (2015) , nga naghunahuna sa kaso sa pagsukod sa censorship sa Internet (usa ka hilisgutan nga akong hisgutan sa kapitulo 6 sa relasyon sa pagtuon sa Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Sa mga termino sa ikatulo nga R ("pagbuhin"), ang maayong pagpaila sa tradisyonal nga pag-analisar sa kuryente gihatag ni Cohen (1988) (book) ug Cohen (1992) (article), samtang si Gelman and Carlin (2014) Ang pre-treatment covariates mahimo nga ilakip sa disenyo ug pagsulay nga yugto sa mga eksperimento; Ang kapitulo 4 sa Gerber and Green (2012) naghatag og usa ka maayo nga pasiuna sa duha ka mga pamaagi, ug ang Casella (2008) naghatag og mas lawom nga pagtambal. Ang mga pamaagi nga naggamit niining impormasyon sa pre-treatment sa randomization kasagaran nga gitawag nga gibabagan nga mga disenyo sa eksperimento o mga nagkalainlain nga mga disenyo sa eksperimento (ang terminolohiya dili kanunay nga gigamit sa mga komunidad); kini nga mga pamaagi hugot nga may kalabutan sa mga teknik sa pagsumpo sa mga sampol nga gihisgutan sa kapitulo 3. Tan-awa ang Higgins, Sävje, and Sekhon (2016) alang sa dugang sa paggamit niini nga mga disenyo sa dagkong eksperimento. Ang pre-treatment covariates mahimo usab nga ilakip sa stage analysis. McKenzie (2012) ang nagkalain-laing pamaagi sa pag-analisar sa mga eksperimento sa natad sa dugang detalye. Tan-awa ang Carneiro, Lee, and Wilhelm (2016) alang sa dugang nga bahin sa mga pagbaligya tali sa nagkalainlaing pamaagi aron madugangan ang katukma sa mga pagbanabana sa mga epekto sa pagtambal. Sa katapusan, sa diha nga magdesisyon kung maglakip ba sa mga covariate sa pre-treatment sa entablado sa disenyo o pag-usisa (o pareho), adunay pipila ka mga butang nga pagatagdon. Sa usa ka kahimtang diin ang mga tigdukiduki gustong ipakita nga dili sila "pangisda" (Humphreys, Sierra, and Windt 2013) , ang paggamit sa mga covariate nga pre-treatment sa entablado sa disenyo makatabang (Higgins, Sävje, and Sekhon 2016) . Sa mga sitwasyon diin ang mga partisipante moabut sa han-ay, ilabi na ang mga eksperimento sa online nga mga field, ang paggamit sa impormasyon sa pre-treatment sa entablado sa disenyo tingali lisud logistically; tan-awa, pananglitan, Xie and Aurisset (2016) .

Kini angay nga dugang nga pagdugang sa usa ka gamay nga intuition mahitungod sa ngano nga ang usa ka panaglahi-sa-kalahi paagi mahimong mas epektibo kay sa usa ka kalainan-sa-nga paagi sa usa ka. Daghang linya sa online adunay daghan kaayo nga kalainan (tan-awa ang RA Lewis and Rao (2015) ug Lamb et al. (2015) ) ug relatibong lig-on sa paglabay sa panahon. Sa kini nga kaso, ang pag-usab sa iskor adunay gamay nga kalainan, nga nagdugang sa gahum sa statistical test. Usa ka rason nga kini nga pamaagi dili kanunay nga gigamit mao nga sa wala pa ang digital nga edad, dili komon nga adunay mga resulta sa pre-treatment. Ang usa ka labaw nga konkreto nga paagi sa paghunahuna mahitungod niini mao ang paghunahuna sa usa ka eksperimento aron pagsukod kung ang usa ka partikular nga rutina sa ehersisyo maoy hinungdan sa pagkawala sa timbang. Kung nagsagop ka sa usa ka pamaagi sa kalainan-sa-paagi, ang imong pagbana-bana adunay lainlain nga kabahin gikan sa kabag-ohan sa mga gibug-aton sa populasyon. Kung ang imong pag-atubang sa nagkalainlain nga paagi nga dili magkalahi, nga ang natural nga pagkalainlain sa gibug-aton gibalhin, ug mas daling makamatikod sa usa ka kalainan nga tungod sa pagtambal.

Sa katapusan, naghunahuna ako nga nagdugang sa ikaupat nga R: "repurpose". Nga mao, kon ang mga tigdukiduki makit-an ang ilang mga kaugalingon sa dugang nga mga eksperimento nga datos kay sa ilang gikinahanglan sa pagsulbad sa ilang orihinal nga pangutana sa panukiduki, kinahanglan nila ibalhin ang kasayuran aron mangutana og bag-ong mga pangutana Pananglitan, huna-huna nga ang Kramer ug mga kaubanan naggamit sa usa ka tagbalay nga nagkalahi-ang-kalainan ug nakit-an ang ilang kaugalingon sa dugang nga datos kay sa ilang gikinahanglan sa pagsulbad sa ilang panukiduki sa panukiduki. Imbes nga dili gamiton ang kasayuran sa kinatibuk-an, mahimo nga ilang matun-an ang gidak-on sa epekto isip usa ka function sa pre-treatment nga emosyonal nga pagpahayag. Sama sa Schultz et al. (2007) nakakaplag nga ang epekto sa pagtambal lahi alang sa gaan ug bug-at nga mga tiggamit, tingali ang mga epekto sa News Feed lahi alang sa mga tawo nga naka-post na sa malipayon (o masulub-on) nga mga mensahe. Ang pagbalibad mahimong mosangpot ngadto sa "pagpangisda" (Humphreys, Sierra, and Windt 2013) ug "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , apan kini kasagarang masulbad pinaagi sa kombinasyon sa matinud nga pagtaho (Simmons, Nelson, and Simonsohn 2011) , pre-registration (Humphreys, Sierra, and Windt 2013) , ug mga paagi sa pagkat-on sa makina nga misulay sa paglikay sa sobra nga haum.