aktar kummentarju

Din it-taqsima hija mfassla biex tintuża bħala referenza, aktar milli jinqraw bħala narrattiva.

• Introduzzjoni (Taqsima 4.1)

Mistoqsijiet dwar kawżalità fir-riċerka soċjali ta 'spiss huma kumplessi u kkomplikata. Għal approċċ fundamentali għall-kawżalità bbażata fuq graffs kawżali, ara Pearl (2009) , u għal approċċ sisien ibbażat fuq ir-riżultati potenzjali, ara Imbens and Rubin (2015) (u l-appendiċi tekniku f'dan il-kapitolu). Għal paragun bejn dawn iż-żewġ approċċi, ara Morgan and Winship (2014) . Għal approċċ formali għad-definizzjoni ta 'confounder, ara VanderWeele and Shpitser (2013) .

Fil-kapitolu, I maħluqa dak dehret qisha linja qawwi bejn l-kapaċità tagħna biex jagħmlu stimi kawżali mir tagħrif esperimentali u mhux esperiment. Fir-realtà, naħseb li d-distinzjoni hija blurrier. Per eżempju, kulħadd jirrikonoxxi li t-tipjip jikkawża kanċer anke jekk aħna qatt ma għamlu esperiment kkontrollata randomised li l-forzi nies li jpejpu. Għal trattamenti tul ktieb eċċellenti dwar teħid stimi kawżali minn data mhux esperimentali tara Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , u Dunning (2012) .

Kapitoli 1 u 2 tat Freedman, Pisani, and Purves (2007) joffru introduzzjoni ċara fil-differenzi bejn esperimenti, esperimenti kkontrollati, u randomised esperimenti kontrollati.

Manzi (2012) jipprovdi introduzzjoni affaxxinanti u li tinqara fil-pedamenti filosofiċi u statistiċi ta 'esperimenti randomised ikkontrollati. Huwa jipprovdi wkoll eżempji dinja reali interessanti tal-poter tal-esperimentazzjoni fil-kummerċ.

• X'inhuma esperimenti? (Sezzjoni 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) jipprovdi introduzzjonijiet tajba għall-aspetti statistiċi ta 'disinn sperimentali u analiżi. Barra minn hekk, jeżistu trattamenti eċċellenti ta 'l-użu ta' esperimenti fl-oqsma differenti: l-ekonomija (Bardsley et al. 2009) , Is-soċjoloġija (Willer and Walker 2007; Jackson and Cox 2013) , il-psikoloġija (Aronson et al. 1989) , Ix-xjenza politika (Morton and Williams 2010) , u l-politika soċjali (Glennerster and Takavarasha 2013) .

L-importanza ta 'reklutaġġ parteċipant (eż, teħid ta' kampjuni) tkun ta 'spiss sotto-apprezzata fir-riċerka sperimentali. Madankollu, jekk l-effett tat-trattament huwa eteroġeneu fil-popolazzjoni, allura teħid ta 'kampjuni huwa kritiku. Longford (1999) jagħmel dan il-punt b'mod ċar meta hu jirrakkomanda għal riċerkaturi ħsieb ta' esperimenti bħala stħarriġ popolazzjoni kampjunar imgerfex.

• Żewġ dimensjonijiet ta 'esperimenti: laboratorju-qasam u Analog-diġitali (Taqsima 4.3)

Il dikotomija li jiena ppreżentajt bejn laboratorju u l-post esperimenti huwa daqsxejn ssimplifikata. Fil-fatt, riċerkaturi oħra ipproponew tipoloġiji aktar dettaljati, b'mod partikolari dawk li jisseparaw l-forom varji ta 'esperimenti fuq il-post (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Barra minn hekk, hemm żewġ tipi oħra ta 'esperimenti mwettqa minn xjentisti soċjali li ma jidħlux b'mod preċiż fil-laboratorju u l-qasam dikotomija:. Esperimenti istħarriġ u esperimenti soċjali esperimenti Istħarriġ qed esperimenti bl-użu tal-infrastruttura tal stħarriġ eżistenti u jqabblu reazzjonijiet għall-verżjonijiet alternattivi ta' l- istess mistoqsijiet (xi esperimenti istħarriġ huma ppreżentati fil-Kapitolu 3); għal aktar fuq esperimenti istħarriġ tara Mutz (2011) . esperimenti soċjali huma esperimenti fejn it-trattament ikun xi politika soċjali li tista 'tiġi implimentata biss minn gvern. esperimenti soċjali huma relatati mill-qrib għall-programm ta 'evalwazzjoni. Għal aktar tagħrif dwar esperimenti ta 'politika, ara Orr (1998) , Glennerster and Takavarasha (2013) , u Heckman and Smith (1995) .

Għadd ta 'dokumenti qabblu laboratorju u kamp esperimenti fl astratt (Falk and Heckman 2009; Cialdini 2009) kif ukoll f'termini ta' riżultati ta 'esperimenti speċifiċi fix-xjenza politika (Coppock and Green 2015) , l-ekonomija (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) u l-psikoloġija (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) joffri disinn, riċerka sbieħ biex jitqabblu r-riżultati minn laboratorju u l-qasam esperimenti.

Tħassib dwar il-parteċipanti li qed jinbidlu l-imġieba tagħhom għaliex jafu li qed jiġu osservati mill-qrib huma kultant msejħa effetti domanda, u dawn ġew studjati fil-psikoloġija (Orne 1962) u l-ekonomija (Zizzo 2009) . Għalkemm aktar assoċjati ma 'l-esperimenti tal-laboratorju, dawn l-istess kwistjonijiet jistgħu jikkawżaw problemi għall-esperimenti fuq il-post kif ukoll. Fil-fatt, l-effetti tad-domanda huma wkoll xi kultant imsejħa effetti Hawthorne, terminu li tirriżulta minn esperiment qasam, speċifikament l-esperimenti illuminazzjoni famuż li beda fl-1924 fuq il-Xogħlijiet Hawthorne tal-Electric Company Punent (Adair 1984; Levitt and List 2011) . Kemm l-effetti tad-domanda u l-effetti Hawthorn huma relatati mill-qrib mal-idea ta 'kejl reattivi diskussi fil-Kapitolu 2 (ara wkoll Webb et al. (1966) ).

L-istorja ta 'esperimenti qasam ġie deskritt fl-ekonomija (Levitt and List 2009) , ix-xjenza politika (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , il-psikoloġija (Shadish 2002) , u l-politika pubblika (Shadish and Cook 2009) . Qasam wieħed ta 'xjenza soċjali fejn se jsiru esperimenti fuq il-post malajr sar prominenti huwa l-iżvilupp internazzjonali. Għal reviżjoni pożittiva ta 'dik ix-xogħol fi ħdan l-ekonomija tara Banerjee and Duflo (2009) , u għal valutazzjoni kritika tara Deaton (2010) . Għal reviżjoni ta 'dan ix-xogħol fix-xjenza politika tara Humphreys and Weinstein (2009) . Fl-aħħarnett, l-isfidi etiċi involuti bl-esperimenti qasam ġie esplorati fix-xjenza politika (Humphreys 2015; Desposato 2016b) u l-ekonomija ta 'żvilupp (Baele 2013) .

Fil-kapitolu, issuġġerejt li informazzjoni pre-trattament jistgħu jintużaw biex itejbu l-preċiżjoni ta 'effetti stmati ta' trattament, iżda jkun hemm xi dibattitu dwar dan l-approċċ: Freedman (2008) , Lin (2013) , u Berk et al. (2013) ; ara Bloniarz et al. (2016) għal aktar informazzjoni.

• Superazzjoni esperimenti sempliċi (Sezzjoni 4.4)

Stajt magħżula biex jiffoka fuq tliet kunċetti:-validità, eteroġeneità tal-effetti tat-trattament, u l-mekkaniżmi. Dawn il-kunċetti għandhom ismijiet differenti fl-oqsma differenti. Per eżempju, psikologi tendenza li nimxu lil hinn esperimenti sempliċi billi tiffoka fuq medjaturi u l-moderaturi (Baron and Kenny 1986) . L-idea ta 'medjaturi huwa maqbud mill dak li jiena nsejjaħ mekkaniżmi, u l-idea ta' moderaturi huwa maqbud mill dak li jiena nsejjaħ validità estern (eż, kieku r-riżultati tal-esperiment tkun differenti kieku kienet immexxija f'sitwazzjonijiet differenti) u l-eteroġeneità tal-effetti tat-trattament ( eż huma l-effetti akbar għal xi nies minn nies oħra).

L-esperiment tal Schultz et al. (2007) juri kif teoriji soċjali jistgħu jintużaw biex disinn interventi effettivi. Għal argument iktar ġenerali dwar ir-rwol tat-teorija fit-tfassil interventi effettivi, ara Walton (2014) .

• Validità (Sezzjoni 4.4.1)

Il-kunċetti ta 'validità interna u esterna ewwel ġew introdotti fl Campbell (1957) . Ara Shadish, Cook, and Campbell (2001) għal storja aktar dettaljata u elaborazzjoni bir-reqqa ta 'validità konklużjoni statistika, validità interna, tibni validità, u l-validità estern.

Għal ħarsa ġenerali ta 'kwistjonijiet relatati mal-validità konklużjoni statistika f'esperimenti tara Gerber and Green (2012) (għal perspettiva tax-xjenza soċjali) u Imbens and Rubin (2015) (għal perspettiva statistika). Xi kwistjonijiet ta 'validità konklużjoni statistika li jinqalgħu b'mod speċifiku fl-esperimenti qasam online jinkludu kwistjonijiet bħall-metodi computationally effiċjenti fil-ħolqien intervalli ta' kunfidenza ma 'data dipendenti (Bakshy and Eckles 2013) .

validità intern jista 'jkun diffiċli li jiġi żgurat fil-esperimenti qasam kumplessi. Ara, pereżempju, Gerber and Green (2000) , Imai (2005) , u Gerber and Green (2005) għal dibattitu dwar l-implimentazzjoni ta 'esperiment kumpless qasam madwar votazzjoni. Kohavi et al. (2012) u Kohavi et al. (2013) jipprovdi tidħil fl-isfidi ta 'validità intervall fl-esperimenti qasam online.

Wieħed tħassib kbir b'validità intern huwa problemi bil randomizzazzjoni. Mod wieħed biex potenzjalment jikxfu problemi bl-randomizzazzjoni huwa li jitqabblu l-trattament u ta 'kontroll gruppi dwar il-karatteristiċi osservabbli. Dan it-tip ta 'paragun tissejjaħ verifika bilanċ. Ara Hansen and Bowers (2008) għal approċċ statistiku għall-bilanċ kontrolli, u ara Mutz and Pemantle (2015) għal tħassib dwar kontrolli bilanċ. Per eżempju, bl-użu ta 'bilanċ tiċċekkja Allcott (2011) sabet li hemm xi evidenza li l-randomizzazzjoni ma ġietx implimentata b'mod korrett fil tlieta mill-esperimenti f'xi wħud mill-esperimenti OPower (ara t-Tabella 2; siti 2, 6, u 8). Għal approċċi oħra, ara Imbens and Rubin (2015) , Kapitolu 21.

tħassib ewlenin oħra relatati mal-validità interna huma: 1) waħda sided nuqqas ta 'konformità, fejn mhux kulħadd fil-grupp ta' kura fil-fatt irċeviet it-trattament, 2) żewġ naħat nuqqas ta 'konformità, fejn mhux kulħadd fil-grupp ta' kura tirċievi l-kura u xi nies fil-grupp ta 'kontroll tirċievi l-kura, 3) attrizzjoni, fejn ir-riżultati mhumiex mkejla għal xi parteċipant, u 4) interferenza, fejn it-trattament tespandi minn nies fil-kondizzjoni trattament lill-persuni fil-kundizzjoni ta' kontroll. Ara Gerber and Green (2012) -Kapitoli 5, 6, 7, u 8 għal aktar fuq kull waħda minn dawn il-kwistjonijiet.

Għal aktar tagħrif dwar validità tibni, ara Westen and Rosenthal (2003) , u għal aktar fuq validità konstruzzjoni fl sorsi ta 'data kbar, Lazer (2015) u l-Kapitolu 2 ta' dan il-ktieb.

Aspett wieħed ta 'validità esterna huwa t-twaqqif fejn intervent tiġi ttestjata. Allcott (2015) jipprovdi trattament bir-reqqa teoretiku u empiriku ta' parzjalità għażla tas-sit. Din il-kwistjoni hija diskussa wkoll fil Deaton (2010) . Minbarra li jiġu replikati fil-ħafna siti, l-intervent Rapport dwar l-Enerġija Home ġie wkoll studjat indipendentament minn gruppi ta 'riċerka multipli (eż, Ayres, Raseman, and Shih (2013) ).

• Eteroġeneità tal-effetti tat-trattament (it-Taqsima 4.4.2)

Għal ħarsa ġenerali eċċellenti ta 'eteroġeneità tal-effetti tat-trattament f'esperimenti qasam, ara l-Kapitolu 12 ta' Gerber and Green (2012) . Għal introduzzjonijiet għall-eteroġeneità tal-effetti tat-trattament fil-provi mediċi, ara Kent and Hayward (2007) , Longford (1999) , u Kravitz, Duan, and Braslow (2004) . Eteroġeneità tal-effetti tat-trattament ġeneralment jiffokaw fuq differenzi bbażati fuq il-karatteristiċi ta 'qabel it-trattament. Jekk inti interessat fil-eteroġeneità bbażata fuq ir-riżultati wara t-trattament, imbagħad approachs aktar kumplessi huma meħtieġa bħal stratifikazzjoni prinċipali (Frangakis and Rubin 2002) ; ara Page et al. (2015) għal reviżjoni.

Ħafna riċerkaturi jistmaw l-eteroġeneità tal-effetti tal-kura bl-użu ta 'rigressjoni lineari, imma metodi ġodda jiddependu fuq it-tagħlim magna, per eżempju Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , u Athey and Imbens (2016a) .

Hemm xi xettiċiżmu dwar ir-riżultanzi ta 'eteroġeneità tal-effetti minħabba problemi paragun multipli u "sajd." Hemm varjetà ta' approċċi statistiċi li jistgħu jgħinu jindirizzaw it-tħassib dwar paragun multiplu (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Approċċ wieħed għal tħassib dwar "sajd" hija pre-reġistrazzjoni, li qed issir dejjem aktar komuni fil-psikoloġija (Nosek and Lakens 2014) , ix-xjenza politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , u l-ekonomija (Olken 2015) .

Fl-istudju ta ' Costa and Kahn (2013) biss madwar nofs il-familji fil-esperiment setgħu jkunu marbuta mal-informazzjoni demografika. Qarrejja interessati fil-dettalji u l-problemi possibbli ma 'din l-analiżi għandha tirreferi għall-karta oriġinali.

• Mekkaniżmi (Sezzjoni 4.4.3)

Mekkaniżmi huma oerhört importanti, iżda dawn jirriżulta li jkun diffiċli ħafna għall-istudju. Ir-riċerka dwar mekkaniżmi relatati mill-qrib għall-istudju ta 'medjaturi fil-psikoloġija (imma ara wkoll VanderWeele (2009) għal tqabbil preċiż bejn iż-żewġ ideat). Approċċi istatistika lill-mekkaniżmi konstatazzjoni, bħall-approċċ żviluppat fil Baron and Kenny (1986) , huma pjuttost komuni. Sfortunatament, jirriżulta li dawk il-proċeduri jiddependu fuq xi preżunzjonijiet qawwija (Bullock, Green, and Ha 2010) u jbatu meta jkun hemm mekkaniżmi multipli, bħala wieħed jistenna f'ħafna sitwazzjonijiet (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) u Imai and Yamamoto (2013) joffru xi metodi statistiċi mtejba. Barra minn hekk, VanderWeele (2015) joffri trattament ktieb ta 'tul ma' numru ta 'riżultati importanti, li jinkludu approċċ komprensiv għall-analiżi tas-sensittività.

Approċċ separata jiffoka fuq esperimenti li jippruvaw jimmanipulaw l-mekkaniżmu direttament (eż, li jagħtu baħħara vitamina Ċ). Sfortunatament, f'ambjenti ħafna tax-xjenza soċjali spiss ikun hemm mekkaniżmi multipli u huwa diffiċli li disinn trattamenti li jbiddlu wieħed mingħajr ma jinbidlu l-oħrajn. Xi approċċi biex sperimentali mekkaniżmi jbiddlu huma deskritti Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , u Pirlott and MacKinnon (2016) .

Fl-aħħarnett, il-mekkaniżmi għandhom ukoll storja twila fil-filosofija tax-xjenza kif deskritt mill Hedström and Ylikoski (2010) .

• Bl-użu f'ambjenti eżistenti (Sezzjoni 4.5.1.1)

Għal aktar tagħrif dwar l-użu ta 'studji korrispondenza u studji ta' verifika biex ikejlu diskriminazzjoni tara Pager (2007) .

• Jibnu esperiment tiegħek stess (Sezzjoni 4.5.1.2)

L-aktar mod komuni biex jirreklutaw parteċipanti biex esperimenti li inti tibni huwa Amazon mekkaniċi Turk (MTurk). Minħabba MTurk aspetti jimita tal-laboratorju esperimenti li jħallsu tradizzjonali nies biex twettaq il-ħidmiet li ma kinux ser jagħmlu għal riċerkaturi free-bosta jkunu diġà bdew jużaw Turkers (-ħaddiema fuq MTurk) bħala parteċipanti f'esperimenti suġġetti umani li jirriżultaw fi ġbir aktar mgħaġġel u data irħas minn tradizzjonali fuq il-kampus esperimenti fil-laboratorju (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Il-qawwa akbar ta 'esperimenti mal-parteċipanti reklutati mill MTurk huma loġistiku: dawn jippermettu lir-riċerkaturi biex jirreklutaw parteċipanti malajr u kif meħtieġ. Billi esperimenti tal-laboratorju jista 'jieħu ġimgħat biex imexxu u esperimenti qasam tista' tieħu xhur biex set-up, esperimenti mal-parteċipanti reklutati mill MTurk jistgħu jitmexxew jiem. Per eżempju, Berinsky, Huber, and Lenz (2012) setgħu jirreklutaw 400 suġġetti fil-jum wieħed biex jipparteċipaw fil-esperiment 8 minuta. Barra minn hekk, dawn il-parteċipanti jistgħu jiġu reklutati għal kważi kull skop (inklużi stħarriġ u l-kollaborazzjoni tal-massa, kif diskuss fil-Kapitoli 3 u 5). Din il-faċilità ta 'reklutaġġ ifisser li r-riċerkaturi jistgħu jaħdmu sekwenzi ta' esperimenti relatati f'suċċessjoni rapida.

Qabel reklutaġġ parteċipanti mill MTurk għall-esperimenti tiegħek, hemm erba affarijiet importanti li tkun taf. L-ewwel, ħafna riċerkaturi jkollhom xettiċiżmu mhux speċifika ta 'esperimenti li jinvolvu Turkers. Minħabba li dan xettiċiżmu mhijiex speċifika, huwa diffiċli biex jiġġieldu b'evidenza. Madankollu, wara diversi snin ta 'studji li jużaw Turkers, nistgħu issa jikkonkludi li din xettiċiżmu mhux speċjalment meħtieġa. Kien hemm bosta studji li qabblu l-demografija ta 'Turkers lil popolazzjonijiet oħrajn u ħafna studji li qabblu riżultati ta' esperimenti bl Turkers għar-riżultati minn popolazzjonijiet oħra. Minħabba din il-ħidma, naħseb li l-aħjar mod biex inti biex jaħsbu dwar dan hija li Turkers huma kampjun konvenjenza raġonevoli, ħafna bħall-istudenti, iżda ftit aktar diversa (Berinsky, Huber, and Lenz 2012) . Għalhekk, hekk kif l-istudenti huma b'popolazzjoni raġonevoli għal xi wħud imma mhux kollha ta 'riċerka sperimentali, Turkers huma b'popolazzjoni raġonevoli għal xi wħud imma mhux kollha ta' riċerka. Jekk inti tmur biex jaħdmu ma Turkers, allura jagħmel sens li jaqra ħafna minn dawn l-istudji komparattivi u jifhmu sfumaturi tagħhom.

It-tieni nett, ir-riċerkaturi żviluppaw aħjar prattiki biex tiżdied validità interna tal-esperimenti Turk, u inti għandek jitgħallmu dwar u ssegwi dawn l-aħjar prattiki (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Per eżempju, ir-riċerkaturi li jużaw Turkers huma mħeġġa biex jużaw jispezzjonaw biex jitneħħew parteċipanti mhuwiex attent (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (imma ara wkoll il DJ Hauser and Schwarz (2015b) u DJ Hauser and Schwarz (2015a) ). Jekk inti ma tneħħi parteċipanti mhuwiex attent, allura kwalunkwe effett tat-trattament jista 'jiġi maħsul mill-istorbju introdotti mill-parteċipanti mhuwiex attent, u fil-prattika l-għadd ta' parteċipanti mhuwiex attent jista 'jkun sostanzjali. Fil-esperiment ta 'Huber u l-kollegi (2012) madwar 30% tal-parteċipanti naqset jispezzjonaw attenzjoni bażiċi. Problema oħra komuni ma Turkers hija parteëipanti mhux naïve (Chandler et al. 2015) .

It-tielet nett, relattiv għal xi forom oħra ta 'esperimenti diġitali, esperimenti MTurk ma jistgħux skala; Stewart et al. (2015) tistma li fi kwalunkwe ħin partikolari hemm biss madwar 7,000 persuni fuq MTurk.

Finalment, inti għandek tkun taf li MTurk hija komunità mar-regoli u n-normi tagħha stess (Mason and Suri 2012) . Bl-istess mod li inti tipprova biex issir taf dwar il-kultura ta 'pajjiż fejn inti kienu se jimxu esperimenti tiegħek, inti għandek tipprova biex issir taf aktar dwar il-kultura u n-normi ta' Turkers (Salehi et al. 2015) . U, inti għandek tkun taf li l-Turkers se jitkellem dwar esperiment tiegħek jekk inti tagħmel xi ħaġa mhux xierqa jew kontra l-etika (Gray et al. 2016) .

MTurk huwa mod oerhört konvenjenti biex jirreklutaw parteċipanti għall-esperimenti tiegħek, kemm jekk huma lab simili, bħal Huber, Hill, and Lenz (2012) , jew aktar qasam simili, bħal Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , u Mao et al. (2016) .

• Jibnu prodott tiegħek stess (Sezzjoni 4.5.1.3)

Jekk qed taħseb tipprova toħloq prodott tiegħek stess, nirrakkomanda li inti taqra l-parir offrut mill-grupp MovieLens fil Harper and Konstan (2015) . A ħarsa ewlenija mill-esperjenza tagħhom hija li għal kull proġett ta 'suċċess hemm ħafna, fallimenti ħafna. Per eżempju, il-grupp MovieLens nieda prodotti oħra bħal GopherAnswers li kienu kompleti fallimenti (Harper and Konstan 2015) . Eżempju ieħor ta 'riċerkatur nuqqas filwaqt li tipprova tibni prodott huwa tentattiv Edward Castronova li tibni logħba online imsejħa Arden. Minkejja $ 250,000 fil-finanzjament, il-proġett kien flop (Baker 2008) . Proġetti bħal GopherAnswers u Arden huma sfortunatament ħafna aktar komuni milli proġetti bħal MovieLens. Fl-aħħarnett, meta I qal li ma kontx naf dwar kull riċerkaturi oħra li kienu bnew b'suċċess prodotti għall-esperimentazzjoni ripetut hawnhekk huma kriterji tiegħi: 1) il-parteċipanti jużaw il-prodott minħabba dak li jipprovdi għalihom (eż, dan ma jitħallasx u ma jkunux voluntiera jgħinu xjenza) u 2) il-prodott ikun ġie użat għal esperiment distinti iktar minn wieħed (ie, mhux l-istess esperiment ħinijiet multipli ma 'sorsi parteċipant differenti). Jekk taf li ta eżempji oħra, jekk jogħġbok let me know.

• Sħab ma 'l-qawwi (Sezzjoni 4.5.2)

Stajt jinstemgħu l-idea ta 'Kwadrant Pasteur diskuss frekwenti fuq kumpaniji tat-teknoloġija, u dan jgħin jorganizzaw sforzi ta' riċerka fuq Google (Spector, Norvig, and Petrov 2012) .

Bond u l-istudju kollegi " (2012) jipprova wkoll li jikxfu l-effett ta 'dawn it-trattamenti dwar il-ħbieb ta' dawk li rċevew minnhom. Minħabba l-disinn tal-esperiment, dawn riperkussjonijiet huma diffiċli li jinqabdu nadif; qarrejja interessati għandhom jaraw Bond et al. (2012) għal diskussjoni aktar profonda. Dan l-esperiment huwa parti minn tradizzjoni twila ta 'esperimenti fix-xjenza politika dwar l-isforzi biex jinkoraġġixxu votazzjoni (Green and Gerber 2015) . Dawn l-esperimenti nikseb-barra l-vot huma komuni parzjalment minħabba li huma fl Kwadrant Pasteur s. Dan huwa, hemm ħafna nies li huma motivati ​​biex tiżdied votazzjoni u li jivvota jista 'jkun l-imġiba interessanti biex jittestjaw teoriji aktar ġenerali dwar tibdel l-imġiba u l-influwenza soċjali.

Riċerkaturi oħra pprovdew parir dwar running esperimenti qasam ma 'organizzazzjonijiet sħab bħal partiti politiċi, organizzazzjonijiet mhux governattivi, u n-negozji (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Oħrajn offrew pariri dwar kif sħubiji ma 'organizzazzjonijiet jistgħu jkollhom impatt disinji ta' riċerka (Green, Calfano, and Aronow 2014; King et al. 2007) . Sħubija jista 'jwassal ukoll għal mistoqsijiet etiċi (Humphreys 2015; Nickerson and Hyde 2016) .

• Parir tad-disinn (Taqsima 4.6)

Jekk inti tmur jinħoloq pjan analiżi qabel running esperiment tiegħek, nissuġġerixxi li tibda mill-qari linji gwida tar-rappurtar. Il Consort (Konsolidat Standard ta 'Rappurtar ta' provi) linji gwida ġew żviluppati fil-mediċina (Schulz et al. 2010) u mmodifikat għar-riċerka soċjali (Mayo-Wilson et al. 2013) . Sett relatat ta 'linji gwida ġie żviluppat mill-edituri ta' Il-Ġurnal ta 'Sperimentali Xjenza Politika (Gerber et al. 2014) (ara wkoll Mutz and Pemantle (2015) u Gerber et al. (2015) ). Fl-aħħarnett, il-linji gwida ta 'rappurtaġġ ġew żviluppati fil-psikoloġija (Group 2008) , u ara wkoll Simmons, Nelson, and Simonsohn (2011) .

Jekk inti toħloq pjan analiżi għandek tqis pre-reġistrazzjoni għaliex pre-reġistrazzjoni se jżid il-kunfidenza li oħrajn għandhom fil-riżultati tiegħek. Barra minn hekk, jekk inti taħdem ma 'msieħba, se tillimita l-abbiltà tas-sieħeb tiegħek li jibdlu l-analiżi wara li tara r-riżultati. Pre-reġistrazzjoni qed issir dejjem aktar komuni fil-psikoloġija (Nosek and Lakens 2014) , ix-xjenza politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , u l-ekonomija (Olken 2015) .

Filwaqt li toħloq pjan tiegħek qabel l-analiżi inti għandek tkun taf li xi riċerkaturi jużaw ukoll rigressjoni u strateġiji relatati biex itejbu l-preċiżjoni tal-effett stmat trattament, u hemm xi dibattitu dwar dan l-approċċ: Freedman (2008) , Lin (2013) , u Berk et al. (2013) ; ara Bloniarz et al. (2016) għal aktar informazzjoni.

Disinn parir speċifiku għall-esperimenti fuq il-post fuq l-internet huwa wkoll ppreżentat Konstan and Chen (2007) u Chen and Konstan (2015) .

• Oħloq żero data tan-nefqiet varjabbli (it-Taqsima 4.6.1)

Għal aktar tagħrif dwar l-esperimenti MusicLab, ara Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , u Salganik (2007) . Għal aktar tagħrif dwar take-rebbieħ kollha swieq, ara Frank and Cook (1996) . Għal aktar fuq xortih ta˙lil ta u s-sengħa b'mod aktar ġenerali, ara Mauboussin (2012) , Watts (2012) , u Frank (2016) .

M'hemm approċċ ieħor għall-eliminazzjoni pagamenti parteċipant li r-riċerkaturi għandhom jużaw b'kawtela: lieva. F'ħafna esperimenti qasam onlajn parteċipanti huma bażikament abbozzat fil esperimenti u qatt kkumpensat. Eżempji ta 'dan l-approċċ jinkludi Restivo u van de Rijt tal (2012) esperiment dwar premjijiet fil-Wikipedija u Bond u kollega (2012) esperiment fuq jinkoraġġixxu lin-nies biex jivvutaw. Dawn l-esperimenti ma tantx ikollhom żero ispiża varjabbli, huma għandhom mingħajr spejjeż varjabbli għar-riċerkaturi. Anki jekk l-ispiża ta 'ħafna minn dawn l-esperimenti huwa estremament żgħir lil kull parteċipant, l-ispejjeż żgħar impona numru enormi ta' parteċipanti jistgħu jammontaw malajr. Riċerkaturi running esperimenti fuq l-internet massiv ta 'spiss jiġġustifikaw l-importanza tal-effetti żgħar għat-trattament stmati billi qal li dawn l-effetti żgħar jistgħu jsiru importanti meta applikati għal ħafna nies. L-istess ħsieb eżatt japplika għall-ispejjeż li r-riċerkaturi jimponu fuq il-parteċipanti. Jekk esperimenti tiegħek jikkawża miljun ruħ għall-iskart minuta, l-esperiment mhux ta 'ħsara ħafna għal xi persuna partikolari, iżda fl-aggregat ikun moħlija kważi sentejn ta' żmien.

Approċċ ieħor għall-ħolqien żero ħlas spejjeż varjabbli lil parteċipanti huwa l-użu lotterija, approċċ li ġie użat ukoll fir-riċerka stħarriġ (Halpern et al. 2011) . Fl-aħħarnett, għal aktar dwar tfassil pjaċevoli utent 'esperjenzi tara Toomim et al. (2011) .

• Issostitwixxi, Irfina, u Naqqas (Taqsima 4.6.2)

Hawn huma d-definizzjonijiet oriġinali tat-tliet R, minn Russell and Burch (1959) :

"Sostituzzjoni tfisser is-sostituzzjoni ta konxja annimali ogħla ħajjin ta 'materjal insentient. Tnaqqis tfisser tnaqqis fl-għadd ta 'annimali użati biex jiksbu informazzjoni ta' ammont partikolari u preċiżjoni. Rfinar tfisser kwalunkwe tnaqqis fl-inċidenza jew fis-severità tal-proċeduri inumani applikati għal dawk l-annimali li għad iridu jiġu użati. "

It-tliet R li jien nipproponi ma twarrabx il-prinċipji etiċi deskritti fil-Kapitolu 6. Pjuttost, dawn huma verżjoni aktar elaborat wieħed minn dawk il-prinċipji-benefiċenza-speëifikament għall-iffissar ta 'esperimenti umani.

Meta tikkunsidra Kontaġju emottiva, hemm tliet kwistjonijiet mhux etiċi li wieħed iżomm f'moħħu meta jinterpretaw dan l-esperiment. L-ewwel, mhuwiex ċar kif id-dettalji attwali tal-esperiment jgħaqqdu l-pretensjonijiet teoretiċi; fi kliem ieħor, hemm mistoqsijiet dwar validità jibnu. Mhuwiex ċar li l-għadd kelma pożittivi u negattivi huma attwalment indikatur tajjeb ta 'l-istat emozzjonali tal-parteċipanti għaliex 1) mhuwiex ċar li l-kliem li n-nies jimpustaw huma indikatur tajjeb ta' emozzjonijiet tagħhom u 2) mhuwiex ċar li it-teknika partikolari analiżi sentiment li r-riċerkaturi użat huwa kapaċi li b'mod affidabbli tiddeduċi emozzjonijiet (Beasley and Mason 2015; Panger 2016) . Fi kliem ieħor, jista 'jkun hemm miżura ħażin ta' sinjal preġudikata. It-tieni nett, id-disinn u l-analiżi ta 'l-esperiment jgħidilna xejn dwar min kien l-aktar impatt (jiġifieri, m'hemm l-ebda analiżi ta' eteroġeneità tal-effetti tat-trattament) u dak l-mekkaniżmu jista 'jkun. F'dan il-każ, ir-riċerkaturi kellhom lottijiet ta 'informazzjoni dwar il-parteċipanti, iżda dawn kienu essenzjalment ittrattat bħala widgets fl-analiżi. It-tielet nett, id-daqs effett dan l-esperiment kien żgħir ħafna; id-differenza bejn il-kundizzjonijiet ta 'trattament u ta' kontroll hija ta 'madwar 1 minn kull 1,000 kliem. Fil-karta tagħhom, Kramer u l-kollegi jagħmlu l-każ li l-effett ta 'dan id-daqs huwa importanti għaliex mijiet ta' miljuni ta 'nies jaċċessaw News tagħhom Feed kull jum. Fi kliem ieħor, huma jsostnu li anke l-effetti li huma żgħar għal kull persuna huma kbar fl-aggregat. Anke jekk ġejt biex taċċetta dan l-argument, huwa għadu mhux ċar jekk l-effett ta 'dan id-daqs huwa importanti dwar il-kwistjoni xjentifika iktar ġenerali dwar kontaġju emozzjonali. Għal aktar tagħrif dwar is-sitwazzjonijiet fejn l-effetti żgħar huma importanti tara Prentice and Miller (1992) .

F'termini ta 'l-ewwel R (Sostituzzjoni), li jqabbel il emottiva Kontaġju esperiment (Kramer, Guillory, and Hancock 2014) u l-esperiment naturali kontaġju emozzjonali (Coviello et al. 2014) toffri xi lezzjonijiet ġenerali dwar il-kompromessi involuti ma jiċċaqalqu minn esperimenti lill-esperimenti naturali (u approċċi oħra bħal tqabbil li tentattiv biex jiġu approssimati l-esperimenti fis dejta mhux esperimentali, ara l-Kapitolu 2). Minbarra l-benefiċċji etiċi, il-qlib minn esperimentali għal studji mhux esperimentali jippermetti wkoll lir-riċerkaturi li jistudjaw trattamenti li huma loġistikament jkunux jistgħu jużaw. Dawn il-benefiċċji etiċi u loġistiċi jkunu ta 'piż, madankollu. Bil-esperimenti fiżiċi riċerkaturi jkollhom inqas kontroll fuq affarijiet simili reklutaġġ ta 'parteċipanti, randomizzazzjoni, u n-natura tat-trattament. Per eżempju, il-limitazzjoni wieħed ta 'xita bħala trattament huwa li kemm jżid pożittività u tnaqqis negattività. Fl-istudju esperimentali, madankollu, Kramer u l-kollegi kienu kapaċi taġġusta pożittività u n-negattività indipendenti.

L-approċċ partikolari użat mill Coviello et al. (2014) ġiet elaborata ulterjorment fl Coviello, Fowler, and Franceschetti (2014) . Għal introduzzjoni għal varjabbli strumentali tara Angrist and Pischke (2009) (anqas formali) jew Angrist, Imbens, and Rubin (1996) (iktar formali). Għal stima xettiċi ta 'varjabbli strumentali ara Deaton (2010) , u għal introduzzjoni għall-varjabbli strumentali bi strumenti dgħajfa (xita huwa strument dgħajjef), ara Murray (2006) .

B'mod aktar ġenerali, introduzzjoni tajba għall-esperimenti naturali huwa Dunning (2012) , u Rosenbaum (2002) , Rosenbaum (2009) , u Shadish, Cook, and Campbell (2001) joffru ideat tajbin dwar stmati l-effetti kawżali mingħajr esperimenti.

F'termini tat-tieni R (Raffinament), hemm xjentifiċi u loġistiċi kompromessi meta jikkunsidraw jinbidlu d-disinn ta 'Kontaġju emottiva milli timblokka postijiet li tingħata spinta postijiet. Per eżempju, jista 'jkun il-każ li l-implimentazzjoni teknika tal-Għalf News jagħmilha huwa sostanzjalment aktar faċli li tagħmel esperiment ma jimblokka postijiet aktar milli esperiment ma' spinta 'postijiet (innota li esperiment ma' imblukkar postijiet jistgħu jiġu implimentati bħala saff fuq quċċata tas-sistema Għalf News mingħajr ebda ħtieġa ta 'tibdil tas-sistema sottostanti). Xjentifikament, madankollu, il-teorija indirizzata mill-esperiment ma ssuġġerietx ċar disinn wieħed fuq l-ieħor.

Sfortunatament, I am not konxju ta 'riċerka sostanzjali minn qabel dwar il-merti relattivi tal imblukkar u tingħata spinta lill-kontenut fil-Għalf News. Ukoll, I ma bbenefikawx ħafna mir-riċerka dwar raffinar trattamenti biex jagħmluhom inqas ħsara; eċċezzjoni waħda hija Jones and Feamster (2015) , li jikkunsidra l-każ ta 'kejl ta' ċensura Internet (suġġett I tiddiskuti fil-Kapitolu 6 fir-relazzjoni għall-istudju Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

F'termini tat-tielet R (Tnaqqis), introduzzjoni tajba għall-analiżi ta 'enerġija tradizzjonali jkun Cohen (1988) . kovarjanti qabel il-kura tista 'tiġi inkluża fl-istadju tad-disinn u l-istadju analiżi ta' esperimenti; Kapitolu 4 tat Gerber and Green (2012) jipprovdi introduzzjoni tajba għall-żewġ approċċi, u Casella (2008) jipprovdi trattament iktar fil-fond. Tekniki li jużaw din l-informazzjoni qabel it-trattament fil-randomizzazzjoni huma tipikament tissejjaħ jew imblukkat disinji sperimentali jew disinji sperimentali stratifikat (-terminoloġija mhijiex użata b'mod konsistenti fis komunitajiet); dawn it-tekniki huma profondament relatati mal-metodi ta 'kampjunar stratifikat diskussi fil-Kapitolu 3. Ara Higgins, Sävje, and Sekhon (2016) għal aktar dwar kif jużaw dawn id-disinji fl-esperimenti enormi. Kovarjanti qabel il-kura tista 'wkoll tkun inkluża fl-istadju ta' analiżi. McKenzie (2012) jesplora l-approċċ differenza fil--differenzi li tanalizza esperimenti fuq il-post f'aktar dettall. Ara Carneiro, Lee, and Wilhelm (2016) għal aktar dwar il-kompromessi bejn approċċi differenti biex tiżdied il-preċiżjoni fl-istimi ta 'l-effetti tat-trattament. Fl-aħħarnett, meta jiddeċiedu jekk tipprova tinkludi kovarjanti qabel il-kura fl-disinn jew l-analiżi istadju (jew it-tnejn), hemm ftit fatturi li jikkunsidraw. Biss fejn ikun hemm ir-riċerkaturi jridu juru li dawn mhumiex "sajd" (Humphreys, Sierra, and Windt 2013) , bl-użu kovarjanti qabel it-trattament fil-fażi tad-disinn jista 'jkun utli (Higgins, Sävje, and Sekhon 2016) . F'sitwazzjonijiet fejn il-parteċipanti jaslu sekwenzjalment, esperimenti qasam speċjalment onlajn, permezz ta 'informazzjoni qabel it-trattament fl-istadju tad-disinn jista' jkun diffiċli loġistikament, ara pereżempju Xie and Aurisset (2016) .

Huwa ta 'min żżid ftit ta' intuwizzjoni dwar għaliex-differenza fit-differenzi jistgħu jkunu tant wisq iktar effikaċi minn-differenza fil-mezzi. Eżiti online Ħafna jkollhom varjanza għoli ħafna (ara per eżempju, Lewis and Rao (2015) u Lamb et al. (2015) ) u huma relattivament stabbli matul iż-żmien. F'dan il-każ, il-punteġġ bidla ser ikollhom varjanza sostanzjalment iżgħar, tiżdied il-qawwa tat-test statistiku. Raġuni waħda dan avviċinat ma jintużax aktar spiss huwa li qabel ma l-era diġitali ma kienx komuni li jkollhom riżultati qabel il-kura. A aktar konkreti mod biex jaħsbu dwar dan huwa li wieħed jimmaġina esperiment li tkejjel jekk rutina eżerċizzju speċifiku jikkawża telf ta 'piż. Jekk inti tagħmel approċċ differenza fil-mezz, stima tiegħek se jkollhom varjabilità li tiġi mill-varjabbiltà fid-piżijiet fil-popolazzjoni. Jekk inti tagħmel approċċ differenza fil-differenza, madankollu, li l-varjazzjoni jseħħu b'mod naturali fil-piżijiet gets jitneħħew u inti tista 'iktar faċilment jiskopri differenza kkawżat bit-trattament.

Mod wieħed importanti biex jitnaqqas in-numru ta 'parteċipanti fl-esperiment tiegħek huwa li ssir analiżi ta' enerġija, li Kramer u l-kollegi seta 'jsir bbażati fuq id-daqsijiet effett osservati mill-esperiment naturali billi Coviello et al. (2014) jew qabel ir-riċerka mhux esperimentali billi Kramer (2012) (fil-fatt dawn huma attivitajiet fl-aħħar ta 'dan il-kapitolu). Avviż li dan l-użu ta 'analiżi ta' enerġija huwa daqsxejn differenti minn tipiku. Fl-era Analog, riċerkaturi ġeneralment ma analiŜi setgħa li tagħmel ċert li l-istudju tagħhom ma kienx żgħir wisq (jiġifieri, taħt-powered). Issa, madankollu, ir-riċerkaturi għandhom jagħmlu analiżi setgħa biex tiżgura li l-istudju tagħhom mhuwiex kbir wisq (jiġifieri, powered over).

Finalment, jien ikkunsidrajt li żżid ir-raba 'R: Repurpose. Dan huwa, jekk ir-riċerkaturi jsibu ruħhom b'data aktar sperimentali milli hemm bżonn li jiġu indirizzati mistoqsija tagħhom riċerka oriġinali, huma għandhom repurpose-data li jistaqsu mistoqsijiet ġodda. Per eżempju, immaġina li Kramer u l-kollegi kienu kkunsidraw istimatur differenza fil--differenzi u sabu ruħhom mad-dejta aktar milli meħtieġa biex jindirizzaw mistoqsija riċerka tagħhom. Pjuttost milli kieku ma jintużawx-data lill-limitu possibbli, dawn jistgħu studjaw id-daqs tal-effett bħala funzjoni għal trattament minn qabel espressjoni emozzjonali. Hekk kif Schultz et al. (2007) sabet li l-effett tat-trattament kienet differenti għall-dawl u tqal utenti, forsi l-effetti tal-Għalf News kienu differenti għal nies li diġà kellhom tendenza li post kuntenti (jew imdejjaq) messaġġi. Repurposing jista 'jwassal għal "sajd" (Humphreys, Sierra, and Windt 2013) u "hacking p" (Simmons, Nelson, and Simonsohn 2011) , iżda dawn huma ġeneralment indirizzabbli bil-kombinazzjoni ta' rappurtar onesta (Simmons, Nelson, and Simonsohn 2011) , pre-reġistrazzjoni (Humphreys, Sierra, and Windt 2013) , u l-metodi ta 'tagħlim magna li jippruvaw jevitaw twaħħil żejjed.