Dak li għandek taqra li jmiss
- Introduzzjoni (taqsima 4.1)
Mistoqsijiet dwar il-kawżalità fir-riċerka soċjali spiss ikunu kumplessi u kumplessi. Għal approċċ fundamentali għall-kawżalità bbażat fuq graffs kawżali, ara Pearl (2009) , u għal approċċ fundamentali bbażat fuq riżultati potenzjali, ara Imbens and Rubin (2015) . Għal paragun bejn dawn iż-żewġ approċċi, ara Morgan and Winship (2014) . Għal approċċ formali għad-definizzjoni ta ' VanderWeele and Shpitser (2013) , ara VanderWeele and Shpitser (2013) .
F'dan il-kapitolu, ħloqna dak li deher qisha linja sabiħa bejn il-kapaċità tagħna li nagħmlu stimi kawżali minn data sperimentali u mhux esperimentali. Madankollu, naħseb li, fir-realtà, id-distinzjoni hija iktar ċara. Per eżempju, kulħadd jaċċetta li t-tipjip jikkawża l-kanċer, anki jekk l-ebda esperiment ikkontrollat randomizzat li jġiegħel lin-nies biex ipejpu qatt sar. Għal trattamenti eċċellenti ta 'kotba fuq kif isiru stimi kawżali minn data mhux sperimentali ara Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , u Dunning (2012) .
Il-Kapitoli 1 u 2 ta ' Freedman, Pisani, and Purves (2007) joffru introduzzjoni ċara għad-differenzi bejn esperimenti, esperimenti kkontrollati u esperimenti kkontrollati b'mod każwali.
Manzi (2012) jipprovdi introduzzjoni affaxxinanti u li tinqara għall-bażi filosofika u statistika ta 'esperimenti kkontrollati b'mod każwali. Jipprovdi wkoll eżempji interessanti fid-dinja reali tal-poter ta 'esperimentazzjoni fin-negozju. Issenberg (2012) jipprovdi introduzzjoni affaxxinanti għall-użu ta 'esperimentazzjoni fil-kampanji politiċi.
- X'inhuma l-esperimenti? (taqsima 4.2)
Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, u Athey and Imbens (2016b) jipprovdu introduzzjonijiet tajbin għall-aspetti statistiċi ta 'disinn u analiżi sperimentali. Barra minn hekk, jeżistu trattamenti eċċellenti ta 'l-użu ta' esperimenti fl-oqsma differenti ħafna: l-ekonomija (Bardsley et al. 2009) , Is-soċjoloġija (Willer and Walker 2007; Jackson and Cox 2013) , il-psikoloġija (Aronson et al. 1989) , Ix-xjenza politika (Morton and Williams 2010) , u l-politika soċjali (Glennerster and Takavarasha 2013) .
L-importanza tar-reklutaġġ tal-parteċipanti (eż., It-teħid ta 'kampjuni) ħafna drabi mhix sottovalutata fir-riċerka sperimentali. Madankollu, jekk l-effett tat-trattament huwa eteroġenu fil-popolazzjoni, allura t-teħid ta 'kampjuni huwa kritiku. Longford (1999) jagħmel dan il-punt ċar meta huwa favur ir-riċerkaturi li jaħsbu dwar l-esperimenti bħala stħarriġ dwar il-popolazzjoni b'tifqigħ ta 'kampjuni bla periklu.
- Żewġ dimensjonijiet ta 'esperimenti: lab-field u Analog-diġitali (taqsima 4.3)
I ssuġġerejt li hemm kontinwu bejn laboratorju u esperimenti fuq il-post, u riċerkaturi oħra pproponew tipoloġiji aktar dettaljati, b'mod partikolari dawk li jisseparaw id-diversi forom ta 'esperimenti fuq il-post (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .
Numru ta 'karti qabblu l-esperimenti tal-laboratorju u l-qasam b'mod astratt (Falk and Heckman 2009; Cialdini 2009) u f'termini ta' riżultati ta 'esperimenti speċifiċi fix-xjenza politika (Coppock and Green 2015) , ekonomija (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , u l-psikoloġija (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) joffru disinn ta 'riċerka sbieħ għat-tqabbil tar-riżultati mill-laboratorju u l-esperimenti fuq il-post. Parigi, Santana, and Cook (2017) jiddeskrivi kif l-esperimenti fuq l-internet fuq l-internet jistgħu jgħaqqdu xi wħud mill-karatteristiċi tal-laboratorju u l-esperimenti fuq il-post.
It-tħassib dwar il-parteċipanti li jbiddlu l-imġiba tagħhom għaliex jafu li qegħdin jiġu osservati mill-qrib xi kultant jissejħu effetti tad-domanda , u dawn ġew studjati fil-psikoloġija (Orne 1962) u l-ekonomija (Zizzo 2010) . Għalkemm l-aktar assoċjati ma 'esperimenti tal-laboratorju, dawn l-istess kwistjonijiet jistgħu jikkawżaw problemi għal esperimenti fuq il-post ukoll. Fil-fatt, l- effetti tad-domanda xi kultant jissejħu effetti Hawthorne , terminu li joħroġ mill-esperimenti famużi ta 'illuminazzjoni li bdew fl-1924 fil-Hawthorne Works of Western Electric Company (Adair 1984; Levitt and List 2011) . Kemm l- effetti tad-domanda kif ukoll l- effetti Hawthorne huma relatati mill-qrib mal-idea ta 'kejl reattiv diskuss fil-kapitolu 2 (ara wkoll Webb et al. (1966) ).
Esperimenti fuq il-post għandhom storja twila fl-ekonomija (Levitt and List 2009) , xjenza politika (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikoloġija (Shadish 2002) , u politika pubblika (Shadish and Cook 2009) . Qasam wieħed tax-xjenza soċjali fejn esperimenti fuq il-post malajr saru prominenti huwa l-iżvilupp internazzjonali. Għal reviżjoni pożittiva ta 'dak ix-xogħol fl-ekonomija ara Banerjee and Duflo (2009) , u għal evalwazzjoni kritika ara Deaton (2010) . Għal reviżjoni ta 'dan ix-xogħol fix-xjenza politika ara Humphreys and Weinstein (2009) . Fl-aħħarnett, l-isfidi etiċi li ġejjin minn esperimenti fuq il-post ġew esplorati fil-kuntest tax-xjenza politika (Humphreys 2015; Desposato 2016b) u ekonomija tal-iżvilupp (Baele 2013) .
F'din it-taqsima, issuġġerejt li l-informazzjoni ta 'qabel it-trattament tista' tintuża biex ittejjeb il-preċiżjoni tal-effetti stmati tat-trattament, iżda hemm xi dibattitu dwar dan l-approċċ; ara Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , u Bloniarz et al. (2016) għal aktar informazzjoni.
Finalment, hemm żewġ tipi oħra ta 'esperimenti mwettqa minn xjenzati soċjali li ma joqgħodux tajjeb fuq id-dimensjoni tal-lab-field: sondaġġi esperimenti u esperimenti soċjali. L-esperimenti tal-istħarriġ huma esperimenti li jużaw l-infrastruttura tal-istħarriġ eżistenti u jqabblu t-tweġibiet għal verżjonijiet alternattivi tal-istess mistoqsijiet (xi esperimenti tal-istħarriġ huma ppreżentati fil-Kapitolu 3); għal aktar dwar esperimenti ta 'stħarriġ ara Mutz (2011) . L-esperimenti soċjali huma esperimenti fejn it-trattament huwa xi politika soċjali li tista 'tiġi implimentata biss minn gvern. L-esperimenti soċjali huma relatati mill-qrib mal-evalwazzjoni tal-programm. Għal aktar tagħrif dwar esperimenti ta 'politika, ara Heckman and Smith (1995) , Orr (1998) , u @ glennerster_running_2013.
- Nimxu 'l hinn minn esperimenti sempliċi (sezzjoni 4.4)
Jien għażilt li tiffoka fuq tliet kunċetti: il-validità, l-eteroġeneità tal-effetti tat-trattament, u l-mekkaniżmi. Dawn il-kunċetti għandhom ismijiet differenti f'oqsma differenti. Per eżempju, il-psikologi għandhom tendenza li jmorru lil hinn minn esperimenti sempliċi billi jiffokaw fuq medjaturi u moderaturi (Baron and Kenny 1986) . L-idea tal-medjaturi hija maqbuda minn dak li nsejjaħ mekkaniżmi, u l-idea ta 'moderaturi hija maqbuda minn dak li nsejjaħ validità esterna (eż., Ir-riżultati tal-esperiment ikunu differenti jekk kien imexxi f'sitwazzjonijiet differenti) u l-eteroġeneità tal-effetti tat-trattament eż., huma l-effetti akbar għal xi nies milli għal oħrajn).
L-esperiment minn Schultz et al. (2007) juri kif it-teoriji soċjali jistgħu jintużaw biex jitfasslu interventi effettivi. Għal argument aktar ġenerali dwar ir-rwol tat-teorija fit-tfassil ta 'interventi effettivi, ara Walton (2014) .
- Validità (sezzjoni 4.4.1)
Il-kunċetti ta 'validità interna u esterna ġew introdotti l-ewwel darba minn Campbell (1957) . Ara Shadish, Cook, and Campbell (2001) għal storja aktar dettaljata u elaborazzjoni bir-reqqa tal-validità tal-konklużjoni statistika, il-validità interna, il-validità tal-kostruzzjoni u l-validità esterna.
Għal ħarsa ġenerali ta 'kwistjonijiet relatati mal-validità tal-konklużjoni statistika f'esperimenti ara Gerber and Green (2012) (minn perspettiva tax-xjenza soċjali) u Imbens and Rubin (2015) (minn perspettiva statistika). Xi kwistjonijiet ta 'validità ta' konklużjoni statistika li tqum speċifikament f'esperimenti fuq l-internet online jinkludu kwistjonijiet bħal metodi effiċjenti b'mod komprensiv biex jinħolqu intervalli ta 'kunfidenza b'data dipendenti (Bakshy and Eckles 2013) .
Il-validità interna tista 'tkun diffiċli biex tiġi żgurata f'esperimenti kumplessi fuq il-post. Ara, pereżempju, Gerber and Green (2000) , Imai (2005) , u Gerber and Green (2005) għal dibattitu dwar l-implimentazzjoni ta 'esperiment ta' qasam kumpless dwar il-votazzjoni. Kohavi et al. (2012) u Kohavi et al. (2013) jipprovdu introduzzjoni fl-isfidi tal-validità tal-intervall f'esperimenti fuq l-internet fuq il-post.
It-theddida ewlenija għall-validità interna hija l-possibbiltà ta 'randomisation falluta. Mod wieħed potenzjali biex jinstabu problemi bl-għażla każwali huwa biex jitqabblu l-gruppi ta 'trattament u kontroll fuq karatteristiċi osservabbli. Dan it-tip ta 'tqabbil jissejjaħ kontroll tal - bilanċ . Ara Hansen and Bowers (2008) għal approċċ statistiku għall-bilanċ tal-kontrolli u Mutz and Pemantle (2015) għal tħassib dwar kontrolli tal-bilanċ. Per eżempju, bl-użu ta 'kontroll tal-bilanċ, Allcott (2011) sabet evidenza li l-randomizzazzjoni ma kinitx implimentata b'mod korrett fi tlieta mill-esperimenti Opower (ara t-tabella 2; siti 2, 6 u 8). Għal approċċi oħra, ara l-kapitolu 21 ta ' Imbens and Rubin (2015) .
Tħassib ewlieni ieħor marbut mal-validità interna huwa: (1) nuqqas ta 'konformità fuq naħa waħda, fejn mhux kulħadd fil-grupp ta' trattament effettivament irċieva t-trattament, (2) nuqqas ta 'konformità fuq żewġ naħat, fejn mhux kulħadd fil-grupp ta' trattament jirċievi t-trattament u xi nies fil- il-grupp ta 'kontroll jirċievi l-kura, (3) attrizzjoni, fejn ir-riżultati mhumiex imkejla għal xi parteċipanti, u (4) interferenza, fejn it-trattament jinfirex minn persuni li huma f'kundizzjoni ta' kura għal persuni fil-kundizzjoni ta 'kontroll. Ara l-kapitoli 5, 6, 7 u 8 ta ' Gerber and Green (2012) għal aktar dwar kull waħda minn dawn il-kwistjonijiet.
Għal aktar dwar il-validità tal-kostruzzjoni, ara Westen and Rosenthal (2003) , u għal aktar dwar il-validità tal-kostruzzjoni f'sorsi ta 'dejta kbar, Lazer (2015) u l-kapitolu 2 ta' dan il-ktieb.
Aspett wieħed tal-validità esterna huwa l-istabbiliment li fih jiġi ttestjat intervent. Allcott (2015) jipprovdi trattament bir-reqqa teoretiku u empiriku tal-preġudizzju tal-għażla tas-sit. Din il-kwistjoni hija diskussa wkoll minn Deaton (2010) . Aspett ieħor tal-validità esterna huwa jekk operazzjonjiet alternattivi tal-istess intervent se jkollhomx effetti simili. F'dan il-każ, tqabbil bejn Schultz et al. (2007) u Allcott (2011) juri li l-esperimenti Opower kellhom effett trattat iżgħar stmat mill-esperimenti oriġinali minn Schultz u kollegi (1.7% kontra 5%). Allcott (2011) spekula li l-esperimenti ta 'segwitu kellhom effett iżgħar minħabba l-modi kif it-trattament kien differenti: emozzjonat miktuba bl-idejn bħala parti minn studju sponsorjat minn università, meta mqabbel ma' emoticon stampat bħala parti minn prodott tirrapporta minn kumpanija tal-enerġija.
- L-eteroġeneità ta 'l-effetti tat-trattament (sezzjoni 4.4.2)
Għal ħarsa ġenerali eċċellenti ta 'l-eteroġeneità ta' l-effetti tat-trattament f'esperimenti fuq il-post, ara l-kapitolu 12 ta ' Gerber and Green (2012) . Għal introduzzjonijiet għall-eteroġeneità tal-effetti tat-trattament fi provi mediċi, ara Kent and Hayward (2007) , Longford (1999) , u Kravitz, Duan, and Braslow (2004) . Konsiderazzjonijiet dwar l-eteroġeneità ta 'l-effetti tat-trattament ġeneralment jiffokaw fuq id-differenzi bbażati fuq il-karatteristiċi ta' trattament minn qabel. Jekk inti interessat fl-eteroġeneità bbażata fuq riżultati ta 'wara t-trattament, allura huma meħtieġa approċċi aktar kumplessi, bħal stratifikazzjoni prinċipali (Frangakis and Rubin 2002) ; ara Page et al. (2015) għal reviżjoni.
Ħafna riċerkaturi jikkalkulaw l-eteroġeneità tal-effetti tat-trattament billi jużaw ir-rigressjoni lineari, iżda metodi aktar ġodda jiddependu fuq it-tagħlim tal-magni; ara, per eżempju, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , u Athey and Imbens (2016a) .
Hemm xi xettiċiżmu dwar is-sejbiet ta 'eteroġeneità tal-effetti minħabba problemi multipli ta' paragun u "sajd". Hemm varjetà ta 'approċċi statistiċi li jistgħu jgħinu jindirizzaw tħassib dwar tqabbil multiplu (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Approċċ wieħed għal tħassib dwar "sajd" huwa pre-reġistrazzjoni, li qed issir dejjem aktar komuni fil-psikoloġija (Nosek and Lakens 2014) , ix-xjenza politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , u l-ekonomija (Olken 2015) .
Fl-istudju ta ' Costa and Kahn (2013) biss madwar nofs id-djar fl-esperiment jistgħu jkunu marbuta mal-informazzjoni demografika. Il-qarrejja interessati f'dawn id-dettalji għandhom jirreferu għad-dokument oriġinali.
- Mekkaniżmi (taqsima 4.4.3)
Il-mekkaniżmi huma oerhört importanti, iżda jirriżultaw li huma diffiċli ħafna biex jiġu studjati. Ir-riċerka dwar il-mekkaniżmi hija relatata mill-qrib mal-istudju tal-medjaturi fil-psikoloġija (iżda ara wkoll VanderWeele (2009) għal paragun preċiż bejn iż-żewġ ideat). Approċċi statistiċi biex jinstabu mekkaniżmi, bħall-approċċ żviluppat Baron and Kenny (1986) , huma pjuttost komuni. Sfortunatament, jirriżulta li dawk il-proċeduri jiddependu fuq xi suppożizzjonijiet sodi (Bullock, Green, and Ha 2010) u jsofru meta jkun hemm mekkaniżmi multipli, kif wieħed jista 'jistenna f'ħafna sitwazzjonijiet (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) u Imai and Yamamoto (2013) joffru xi metodi ta 'statistika mtejba. Barra minn hekk, VanderWeele (2015) joffri trattament tul il-ktieb b'numru ta 'riżultati importanti, inkluż approċċ komprensiv għall-analiżi tas-sensittività.
Approċċ separat jiffoka fuq esperimenti li jippruvaw jimmanipulaw il-mekkaniżmu direttament (eż., Li jagħtu lis-sidien tal-vitamina C). Sfortunatament, f'ħafna settings tax-xjenza soċjali, spiss ikun hemm mekkaniżmi multipli u huwa diffiċli li jiġu ddisinjati trattamenti li jibdlu wieħed mingħajr ma jinbidlu l-oħrajn. Xi approċċi għal mekkaniżmi li jbiddlu sperimentalment huma deskritti minn Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , u Pirlott and MacKinnon (2016) .
Ir-riċerkaturi li jmexxu esperimenti kompletament fattwali għandhom ikunu mħassba dwar ittestjar ta 'ipoteżi multipla; ara Fink, McConnell, and Vollmer (2014) u List, Shaikh, and Xu (2016) għal aktar informazzjoni.
Fl-aħħarnett, il-mekkaniżmi għandhom ukoll storja twila fil-filosofija tax-xjenza kif deskritta minn Hedström and Ylikoski (2010) .
- Użu ta 'ambjenti eżistenti (taqsima 4.5.1)
Għal aktar tagħrif dwar l-użu ta 'studji ta' korrispondenza u studji tal-verifika biex tkejjel id-diskriminazzjoni, ara Pager (2007) .
- Ibni l-esperiment tiegħek stess (taqsima 4.5.2)
L-iktar mod komuni biex jirrekluta parteċipanti għal esperimenti li inti tibni huwa Amazon Mechanical Turk (MTurk). Minħabba li MTurk jimita aspetti ta 'esperimenti tradizzjonali tal-laboratorju-iħallsu lin-nies biex iwettqu xogħolijiet li huma ma jagħmlux mingħajr ħlas - ħafna riċerkaturi diġà bdew jużaw Turkers (il-ħaddiema fuq MTurk) bħala parteċipanti sperimentali, li rriżultaw f'ġabra ta' dejta aktar mgħaġġla u irħisa milli jista 'jinkiseb f'esperimenti tradizzjonali tal-laboratorju fuq il-kampus (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .
Ġeneralment, l-akbar vantaġġi li jużaw parteċipanti rreklutati minn MTurk huma loġistiċi. Billi l-esperimenti tal-laboratorju jistgħu jieħdu ġimgħat biex jaħdmu u l-esperimenti fuq il-post jistgħu jieħdu xhur biex jitwaqqfu, esperimenti ma 'parteċipanti rreklutati minn MTurk jistgħu jitmexxew f'jiem. Pereżempju, Berinsky, Huber, and Lenz (2012) irnexxielhom jirreklutaw 400 suġġett f'ġurnata waħda biex jipparteċipaw f'esperiment ta '8 minuti. Barra minn hekk, dawn il-parteċipanti jistgħu jiġu reklutati għal kważi kull skop (inklużi stħarriġ u kollaborazzjoni tal-massa, kif diskuss fil-kapitoli 3 u 5). Din il-faċilità ta 'reklutaġġ tfisser li r-riċerkaturi jistgħu jmexxu sekwenzi ta' esperimenti relatati f'suċċessjoni rapida.
Qabel ma nirreklutaw parteċipanti minn MTurk għall-esperimenti tiegħek stess, hemm erba 'affarijiet importanti li għandek bżonn tkun taf. L-ewwelnett, ħafna riċerkaturi għandhom xettiċiżmu mhux speċifiku ta 'esperimenti li jinvolvu t-Turkers. Minħabba li dan ix-xettiċiżmu mhuwiex speċifiku, huwa diffiċli li wieħed jikkontesta l-evidenza. Madankollu, wara bosta snin ta 'studji li jużaw it-Turkisti, issa nistgħu nikkonkludu li dan ix-xettiċiżmu mhuwiex partikolarment iġġustifikat. Kien hemm bosta studji li qabblu d-demografija tat-Turkers ma 'dawk ta' popolazzjonijiet oħra u bosta studji li qabblu r-riżultati ta 'esperimenti ma' dawk tat-Turkisti minn dawk minn popolazzjonijiet oħra. Minħabba dan ix-xogħol kollu, naħseb li l-aħjar mod biex taħseb dwarha huwa li t-Turkers huma kampjun ta 'konvenjenza raġonevoli, ħafna bħal studenti iżda ftit aktar divers (Berinsky, Huber, and Lenz 2012) . Għalhekk, hekk kif l-istudenti huma popolazzjoni raġonevoli għal xi wħud, iżda mhux kollha, ir-riċerka, it-Turkers huma popolazzjoni raġonevoli għal xi wħud, iżda mhux kollha, għar-riċerka. Jekk inti se taħdem ma 'Turkers, allura jagħmel sens li taqra ħafna minn dawn l-istudji komparattivi u tifhem id-differenzi tagħhom.
It-tieni nett, ir-riċerkaturi żviluppaw l-aħjar prattiki biex tiżdied il-validità interna tal-esperimenti MTurk, u għandek titgħallem u ssegwi dawn l-aħjar prattiki (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Pereżempju, riċerkaturi li jużaw it-Turkers huma mħeġġa jużaw skrins biex ineħħu parteċipanti (Berinsky, Margolis, and Sances 2014, 2016) (iżda ara wkoll DJ Hauser and Schwarz (2015b) u DJ Hauser and Schwarz (2015a) ). Jekk ma tneħħix il-parteċipanti inattivi, allura kull effett tat-trattament jista 'jinħasel mill-istorbju li jintroduċu, u fil-prattika n-numru ta' parteċipanti inattenti jista 'jkun sostanzjali. Fl-esperiment minn Huber u l-kollegi (2012) , madwar 30% tal-parteċipanti naqsu milli jaraw l-attenzjoni bażika. Problemi oħra li jinqalgħu komunement meta jintużaw it-Turkians huma parteċipanti mhux vittmi (Chandler et al. 2015) u attrizzjoni (Zhou and Fishbach 2016) .
It-tielet, relattiv għal xi forom oħra ta 'esperimenti diġitali, l-esperimenti MTurk ma jistgħux jitgħabbew; Stewart et al. (2015) jistmaw li f'xi ħin partikolari hemm biss madwar 7,000 ruħ fuq MTurk.
Finalment, għandek tkun taf li MTurk hija komunità bir-regoli u n-normi tagħha stess (Mason and Suri 2012) . Bl-istess mod li inti tipprova ssib dwar il-kultura ta 'pajjiż fejn ġejt immexxi l-esperimenti tiegħek, għandek tipprova ssib aktar dwar il-kultura u n-normi tat-Turkisti (Salehi et al. 2015) . U inti għandek tkun taf li t-Turkers se jitkellmu dwar l-esperiment tiegħek jekk tagħmel xi ħaġa mhux xierqa jew kontra l-etika (Gray et al. 2016) .
MTurk huwa mod oerhört konvenjenti biex jingaġġa parteċipanti għall-esperimenti tiegħek, kemm jekk huma simili għall-lab, bħal dawk ta ' Huber, Hill, and Lenz (2012) , jew aktar simili għal dawk bħal dawk ta' Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , u Mao et al. (2016) .
- Ibni l-prodott tiegħek stess (taqsima 4.5.3)
Jekk qed taħseb li tipprova toħloq il-prodott tiegħek, nirrakkomanda li taqra l-parir offrut mill-grupp MovieLens Harper and Konstan (2015) . Ħarsa ewlenija mill-esperjenza tagħhom hi li għal kull proġett ta 'suċċess hemm ħafna, ħafna fallimenti. Per eżempju, il-grupp MovieLens nieda prodotti oħra, bħal GopherAnswers, li kienu fallimenti kompluti (Harper and Konstan 2015) . Eżempju ieħor ta 'riċerkatur li falla waqt li jipprova jibni prodott huwa t-tentattiv ta' Edward Castronova li jibni logħba onlajn msejħa Arden. Minkejja $ 250,000 f'finanzjament, il-proġett kien flop (Baker 2008) . Proġetti bħal GopherAnswers u Arden huma sfortunatament ferm aktar komuni minn proġetti bħal MovieLens.
- Imsieħeb mal-qawwija (taqsima 4.5.4)
Jien smajt l-idea ta 'Pasteur's Quadrant diskussa ta' spiss f'kumpaniji ta 'teknoloġija, u tgħin torganizza sforzi ta' riċerka fuq Google (Spector, Norvig, and Petrov 2012) .
L-istudju tal-Bond u l-kollegi (2012) jipprova wkoll jiskopri l-effett ta 'dawn it-trattamenti fuq il-ħbieb ta' dawk li rċevewhom. Minħabba d-disinn tal-esperiment, dawn it-tixridiet huma diffiċli biex jinstabu b'mod nadif; qarrejja interessati għandhom jaraw Bond et al. (2012) għal diskussjoni aktar bir-reqqa. Jones u l-kollegi (2017) wettqu wkoll esperiment simili ħafna matul l-elezzjoni tal-2012. Dawn l-esperimenti huma parti minn tradizzjoni twila ta 'esperimenti fix-xjenza politika dwar sforzi biex tinkoraġġixxi l-votazzjoni (Green and Gerber 2015) . Dawn l-esperimenti li joħorġu mill-vot huma komuni, parzjalment minħabba li huma fil-Kwadrant ta 'Pasteur. Jiġifieri, hemm ħafna nies li huma motivati biex iżidu l-votazzjoni u l-votazzjoni tista 'tkun imġieba interessanti biex tittestja teoriji aktar ġenerali dwar il-bidla fl-imġiba u l-influwenza soċjali.
Għal pariri dwar esperimenti fuq il-post ma 'organizzazzjonijiet sħab bħal partiti politiċi, NGOs u negozji, ara Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) u Gueron (2002) . Għal ħsibijiet dwar kif sħubiji ma 'organizzazzjonijiet jistgħu jħallu impatt fuq id-disinji tar-riċerka, ara King et al. (2007) u Green, Calfano, and Aronow (2014) . Is-sħubija tista 'twassal ukoll għal mistoqsijiet etiċi, kif diskuss minn Humphreys (2015) u Nickerson and Hyde (2016) .
- Pariri dwar id-disinn (taqsima 4.6)
Jekk inti sejjer toħloq pjan ta 'analiżi qabel ma taħdem l-esperiment tiegħek, nissuġġerixxi li tibda billi taqra l-linji gwida tar-rappurtar. Il-linji gwida tal-CONSORT (Rapporti Konsolidati dwar ir-Rappurtaġġ Normali tal-Provi) ġew żviluppati fil-mediċina (Schulz et al. 2010) u modifikati għal riċerka soċjali (Mayo-Wilson et al. 2013) . Ġie żviluppat sett ta 'linji gwida relatati mill-edituri tal- Ġurnal ta' Xjenza Politika Sperimentali (Gerber et al. 2014) (ara wkoll Mutz and Pemantle (2015) u Gerber et al. (2015) ). Finalment, ġew żviluppati linji gwida għar-rappurtar fil-psikoloġija (APA Working Group 2008) , u ara wkoll Simmons, Nelson, and Simonsohn (2011) .
Jekk toħloq pjan ta 'analiżi, għandek tikkonsidra r-reġistrazzjoni minn qabel minħabba li r-reġistrazzjoni minn qabel iżżid il-kunfidenza li oħrajn għandhom fir-riżultati tiegħek. Barra minn hekk, jekk qed taħdem ma 'sieħeb, se tillimita l-kapaċità tas-sieħeb tiegħek li jibdel l-analiżi wara li jara r-riżultati. Pre-reġistrazzjoni hija dejjem aktar komuni fil-psikoloġija (Nosek and Lakens 2014) , ix-xjenza politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , u ekonomija (Olken 2015) .
Pariri dwar id-disinn speëifikament għal esperimenti fuq il-post fuq l-internet huma wkoll ippreŜentati Konstan and Chen (2007) u Chen and Konstan (2015) .
Dak li għedt l-istrateġija armata kultant tissejjaħ riċerka programmatika ; ara Wilson, Aronson, and Carlsmith (2010) .
- Oħloq data ta 'l-ispiża varjabbli żero (taqsima 4.6.1)
Għal aktar tagħrif dwar l-esperimenti MusicLab, ara Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , u Salganik (2007) . Għal aktar fuq is-swieq li jieħdu r-rebbieħa kollha, ara Frank and Cook (1996) . Għal aktar informazzjoni dwar is-suċċessi u l-ħiliet aktar ġenerali, ara Mauboussin (2012) , Watts (2012) u Frank (2016) .
Hemm approċċ ieħor biex jitneħħew il-ħlasijiet ta 'parteċipanti li r-riċerkaturi għandhom jużaw b'kawtela: konskrizzjoni. F'ħafna esperimenti fuq l-internet fuq il-post, il-parteċipanti huma bażikament abbozzati f'esperimenti u qatt ma ġew ikkumpensati. Eżempji ta 'dan l-approċċ jinkludu l-esperiment ta' Restivo u van de Rijt (2012) dwar premjijiet fl-esperimentazzjoni tal-Wikipedija u tal-Bond u kollega (2012) dwar l-inkoraġġiment tan-nies biex jivvutaw. Dawn l-esperimenti verament m'għandhomx valur varjabbli żero - pjuttost, għandhom valur varjabbli żero għar-riċerkaturi . F'tali esperimenti, anki jekk l-ispiża għal kull parteċipant hija żgħira ħafna, l-ispiża aggregata tista 'tkun pjuttost kbira. Riċerkaturi li jwettqu esperimenti fuq l-internet enormi ħafna drabi jiġġustifikaw l-importanza ta 'effetti tat-trattament stmati żgħar billi jgħidu li dawn l-effetti żgħar jistgħu jsiru importanti meta jiġu applikati għal ħafna nies. L-istess ħsieb eżatt japplika għall-ispejjeż li r-riċerkaturi jimponu fuq il-parteċipanti. Jekk l-esperiment tiegħek jikkawża miljun ruħ li jaħrab f'minn minuta, l-esperiment ma jagħmilx ħsara kbira lil xi persuna partikolari, iżda f'daqqa ħela kważi sentejn.
Approċċ ieħor għall-ħolqien ta 'ħlas ta' spiża varjabbli żero lill-parteċipanti huwa li tintuża lotterija, approċċ li ġie użat ukoll fir-riċerka tal-istħarriġ (Halpern et al. 2011) . Għal aktar tagħrif dwar it-tfassil ta 'esperjenzi ta' utent pjaċevoli, ara Toomim et al. (2011) . Għal aktar tagħrif dwar l-użu ta 'robots biex jinħolqu esperimenti b'varjazzjoni varjabbli żero ara ( ??? ) .
- Ibdel, Irfina u Naqqas (taqsima 4.6.2)
It-tliet R's kif oriġinarjament proposti minn Russell and Burch (1959) huma kif ġej:
"Sostituzzjoni tfisser is-sostituzzjoni ta konxja annimali ogħla ħajjin ta 'materjal insentient. Tnaqqis tfisser tnaqqis fl-għadd ta 'annimali użati biex jiksbu informazzjoni ta' ammont partikolari u preċiżjoni. Rfinar tfisser kwalunkwe tnaqqis fl-inċidenza jew fis-severità tal-proċeduri inumani applikati għal dawk l-annimali li għad iridu jiġu użati. "
It-tliet R li nipproponi ma jeskludux il-prinċipji etiċi deskritti fil-kapitolu 6. Minflok, huma verżjoni aktar elaborata waħda minn dawk il-prinċipji-benefiċċju speċifikament fl-iffissar ta 'esperimenti umani.
F'termini tal-ewwel R ("sostituzzjoni"), it-tqabbil tal-esperiment ta 'kontaġju emozzjonali (Kramer, Guillory, and Hancock 2014) u l-esperiment naturali ta' kontaġju emozzjonali (Lorenzo Coviello et al. 2014) joffri xi lezzjonijiet ġenerali dwar il- fil-mixja minn esperimenti għal esperimenti naturali (u approċċi oħra bħal tqabbil li jippruvaw japprossimizzaw esperimenti f'dejta mhux sperimentali; ara l-kapitolu 2). Minbarra l-benefiċċji etiċi, it-tibdil minn studji sperimentali għal studji mhux sperimentali jippermetti wkoll li r-riċerkaturi jistudjaw trattamenti li huma loġistiċi ma jistgħux jintużaw. Madankollu, dawn il-benefiċċji etiċi u loġistiċi huma ta 'spiża. B'esperimenti naturali r-riċerkaturi għandhom inqas kontroll fuq affarijiet bħar-reklutaġġ ta 'parteċipanti, randomisation, u n-natura tat-trattament. Per eżempju, limitazzjoni waħda tax-xita bħala trattament hija li t-tnejn iżżid il-pożittività u tnaqqas in-negattività. Fl-istudju sperimentali, madankollu, Kramer u l-kollegi setgħu jaġġustaw il-pożittività u n-negattività b'mod indipendenti. L-approċċ partikolari użat minn Lorenzo Coviello et al. (2014) ġiet elaborata aktar minn L. Coviello, Fowler, and Franceschetti (2014) . Għal introduzzjoni għal varjabbli strumentali, li huwa l-approċċ użat minn Lorenzo Coviello et al. (2014) , ara Angrist and Pischke (2009) (inqas formali) jew Angrist, Imbens, and Rubin (1996) (aktar formali). Għal evalwazzjoni xettika ta 'varjabbli strumentali, ara Deaton (2010) , u għal introduzzjoni għal varjabbli strumentali bi strumenti dgħajfa (xita hija strument dgħajjef), ara Murray (2006) . B'mod aktar ġenerali, introduzzjoni tajba għal esperimenti naturali hija mogħtija minn Dunning (2012) , filwaqt li Rosenbaum (2002) , ( ??? ) , u Shadish, Cook, and Campbell (2001) joffru ideat tajbin dwar l-istima ta 'effetti kawżali mingħajr esperimenti.
F'termini tat-tieni R ("irfinar"), hemm kompromessi xjentifiċi u loġistiċi meta wieħed jikkunsidra li jibdel id-disinn tal-Kuxjenza Emozzjonali milli jimblokka l-karigi biex iżid il-postijiet. Pereżempju, jista 'jkun il-każ li l-implimentazzjoni teknika tal-Għalf għall-Aħbarijiet tagħmilha sostanzjalment iktar faċli li jsir esperiment fejn il-postijiet huma mblukkati minflok wieħed li fih huma msaħħa (innota li seta' jiġi implimentat esperiment li jinvolvi l-imblukkar tal-postijiet tax-xogħol bħala saff fuq il-quċċata tas-sistema News Feed mingħajr il-ħtieġa ta 'alterazzjonijiet tas-sistema sottostanti). Madankollu xjentifikament, it-teorija indirizzata mill-esperiment ma werietx b'mod ċar disinn wieħed fuq l-ieħor. Sfortunatament, jiena mhux konxju ta 'riċerka sostanzjali minn qabel dwar il-merti relattivi tal-imblukkar u t-tisħiħ tal-kontenut fl-Għalf għall-Aħbarijiet. Barra minn hekk, ma rajtx ħafna riċerka dwar it-trattamenti tar-raffinar biex tagħmilhom anqas ta 'ħsara; eċċezzjoni waħda hija B. Jones and Feamster (2015) , li tqis il-każ tal-kejl taċ-ċensura tal-Internet (suġġett li niddiskuti f'Kapitolu 6 f'relazzjoni mal-istudju Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).
F'termini tat-tielet R ("tnaqqis"), introduzzjonijiet tajbin għal analiżi ta 'enerġija tradizzjonali huma mogħtija minn Cohen (1988) (ktieb) u Cohen (1992) (artikolu), filwaqt li Gelman and Carlin (2014) joffru perspettiva kemmxejn differenti. Kovarijari ta 'qabel il-kura jistgħu jiġu inklużi fl-istadju tad-disinn u l-analiżi ta' esperimenti; kapitolu 4 ta ' Gerber and Green (2012) jipprovdi introduzzjoni tajba għaż-żewġ approċċi, u Casella (2008) jipprovdi trattament aktar fil-fond. It-tekniki li jużaw din l-informazzjoni ta 'qabel it-trattament fl-għażla każwali huma tipikament imsejħa jew disinji sperimentali imblukkati jew disinji sperimentali stratifikati (it-terminoloġija mhix użata b'mod konsistenti fil-komunitajiet kollha); dawn it-tekniki huma relatati mill-qrib mat-tekniki ta 'teħid ta' kampjuni stratifikati diskussi fil-kapitolu 3. Ara Higgins, Sävje, and Sekhon (2016) għal aktar użu ta 'dawn id-disinji f'esperimenti massivi. Kovarijari ta 'qabel il-kura jistgħu jiġu inklużi wkoll fl-istadju ta' analiżi. McKenzie (2012) tesplora l-approċċ tad-differenza fid-differenzi għall-analiżi tal-esperimenti fuq il-post f'aktar dettall. Ara Carneiro, Lee, and Wilhelm (2016) għal aktar dwar il-kompromessi bejn approċċi differenti biex tiżdied il-preċiżjoni fl-istimi tal-effetti tat-trattament. Fl-aħħarnett, meta tiddeċiedi jekk tipprovax tinkludi covariates ta 'qabel it-trattament fl-istadju tad-disinn jew analiżi (jew it-tnejn), hemm ftit fatturi li għandhom jiġu kkunsidrati. F'ambjent fejn ir-riċerkaturi jridu juru li mhumiex "tas-sajd" (Humphreys, Sierra, and Windt 2013) , li jużaw covariates ta 'trattament minn qabel fl-istadju tad-disinn jistgħu jkunu ta' għajnuna (Higgins, Sävje, and Sekhon 2016) . F'sitwazzjonijiet fejn il-parteċipanti jaslu b'mod sekwenzjali, speċjalment esperimenti fuq il-post fuq l-internet, l-użu ta 'informazzjoni ta' trattament minn qabel fl-istadju tad-disinn jista 'jkun diffiċli b'mod loġistiku; ara, per eżempju, Xie and Aurisset (2016) .
Ta 'min iżid ftit intwizzjoni dwar għaliex l-approċċ ta' differenza fid-differenzi jista 'jkun tant aktar effettiv minn differenza fil-mezz wieħed. Ħafna riżultati onlajn għandhom varjanza għolja ħafna (ara eż. RA Lewis and Rao (2015) u Lamb et al. (2015) ) u huma relattivament stabbli maż-żmien. F'dan il-każ, il-punteġġ tal-bidla għandu varjanza sostanzjalment iżgħar, u jżid is-setgħa tat-test statistiku. Raġuni waħda għaliex dan l-approċċ ma jintużax aktar spiss huwa dak qabel l-era diġitali, ma kienx komuni li jkun hemm riżultati ta 'qabel it-trattament. Mod aktar konkret biex wieħed jaħseb dwar dan huwa li timmaġina esperiment biex tkejjel jekk rutina ta 'eżerċizzju speċifiku tikkawżax telf ta' piż. Jekk tadotta approċċ ta 'differenza fil-mezzi, l-istima tiegħek ser ikollha varjabilità li tirriżulta mill-varjabbiltà fil-piżijiet fil-popolazzjoni. Jekk tagħmel differenza fid-differenzi fl-approċċ, madankollu, dik il-varjazzjoni naturali fil-piżijiet titneħħa, u tista 'tidentifika b'mod aktar faċli d-differenza kkawżata mit-trattament.
Fl-aħħarnett, ikkunsidrajt li żżid ir-raba R: "tirriproduċi". Jiġifieri, jekk ir-riċerkaturi jsibu ruħhom b'aktar dejta sperimentali milli jeħtieġ jindirizzaw il-mistoqsija oriġinali tagħhom dwar ir-riċerka, għandhom jerġgħu jippreżentaw id-dejta biex jitolbu mistoqsijiet ġodda. Per eżempju, jimmaġina li Kramer u l-kollegi użaw stimatur ta 'differenza fid-differenzi u sabu ruħhom b'aktar dejta milli kienu jeħtieġu biex jindirizzaw il-mistoqsija ta' riċerka tagħhom. Minflok ma użaw id-dejta sal-limitu l-iktar sħiħ, setgħu studjaw id-daqs tal-effett bħala funzjoni tal-espressjoni emozzjonali ta 'qabel it-trattament. Hekk kif Schultz et al. (2007) sabet li l-effett tat-trattament kien differenti għal utenti ħfief u tqal, forsi l-effetti tal-Feed News kienu differenti għal nies li diġà kellhom tendenza li jippubblikaw messaġġi kuntenti (jew imdejjaq). Ir-riponiment jista 'jwassal għal "sajd" (Humphreys, Sierra, and Windt 2013) u "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , iżda dawn huma indirizzati b'mod wiesa' b'kombinazzjoni ta 'rappurtaġġ onest (Simmons, Nelson, and Simonsohn 2011) , pre-reġistrazzjoni (Humphreys, Sierra, and Windt 2013) , u metodi ta 'tagħlim bil-magna li jippruvaw jevitaw li jinqalgħu żżejjed.
