Шарҳи иловагӣ

Дар ин фасли сохта шудааст, ки ҳамчун истинод истифода шавад, на ба сифати тавсифӣ хонда шавад.

• Муқаддима (боби 4.1)

Саволҳо дар бораи causality дар тадқиқоти иҷтимоӣ аксаран мураккаб ва печидаи мебошанд. Зеро муносибати foundational ба causality асоси графикҳо алоќаи, нигаред ба Pearl (2009) , ва барои муносибати foundational дар асоси натиљањои эҳтимолӣ, нигаред Imbens and Rubin (2015) (ва дар замимаи техникӣ дар ин боб). Барои муқоиса байни ин ду равишҳои, нигаред Morgan and Winship (2014) . Зеро муносибати расмӣ ба муайян намудани як confounder, ниг VanderWeele and Shpitser (2013) .

Дар боби, Ман офаридааст чӣ мисли хати дурахшон байни имконияти моро ба арзёбии алоќаи аз маълумоти таҷрибавӣ ва ғайри-озмоиш менамуд. Дар асл, ман фикр мекунам, ки тафовути blurrier аст. Барои мисол, ҳар мепазирад, ки сигоркашӣ боиси саратон Гарчанде ки мо таҷрибаи тасодуфӣ назорат, ки водор ба одамон тамоку кардааст ҳаргиз. Барои табобат аъло дарозии китоб дар бораи ворид сметаи алоќаи аз маълумоти ғайридавлатӣ таҷрибавӣ мебинем Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ва Dunning (2012) .

Боби 1 ва 2 Freedman, Pisani, and Purves (2007) пешниҳод ҷорӣ равшан ба фарќияти байни таҷрибаҳо, таҷрибаҳо назорат ва таҷрибаҳо назорат тасодуфӣ.

Manzi (2012) ҷорӣ шавқовар ва машҳур ба underpinnings фалсафӣ ва омори таҷрибаҳои назорат тасодуфӣ таъмин менамояд. Он ҳамчунин шавқовар мисолҳои воқеӣ ҷаҳон қуввати озмоишҳо дар соҳибкорӣ таъмин менамояд.

• Таҷрибаҳо дар чист? (Боби 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) таъмин пешниҳоди хуб ба ҷанбаҳои омори тарҳи таҷрибавӣ ва таҳлили. Ғайр аз ин, ҳастанд, табобат аъло истифодаи таҷрибаҳои дар соҳаҳои гуногун вуҷуд дорад: иқтисодиёт (Bardsley et al. 2009) , Ҷомеашиносӣ (Willer and Walker 2007; Jackson and Cox 2013) , равоншиносӣ (Aronson et al. 1989) , Сиёсатшиносӣ (Morton and Williams 2010) , ва сиёсати иљтимої (Glennerster and Takavarasha 2013) .

Аҳамияти ҷалб иштирокчӣ (масалан, интихоб) аст, аксар вақт дар соҳаи тадқиқоти таҷрибавӣ-сола баҳои баланд дод. Вале, агар ин таъсири табобати гуногунтабиат дар ањолї, пас интихоб муҳим аст. Longford (1999) мегардад, ки ин нуқтаи равшан, вақте ки ӯ барои олимон фикр таҷрибаҳо ҳамчун пурсиши ањолї бо интихоб људогардида ташвиқот.

• Ду андозаи таҷрибаҳои: озмоишгоҳи-соҳа ва аналогӣ-рақамӣ (боби 4.3)

Дар dichotomy, ки ман дар миёни лабораторияи ва майдони таҷрибаҳо пешниҳод аст, як каме содда карда шаванд. Дар асл, дигар муҳаққиқон Типологияи муфассал бештар дар одамони махсус, ки ба шаклњои гуногуни таҷрибаҳои соҳаи ҷудо пешниҳод кардаанд, (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Ғайр аз ин, ҳастанд, ду намуди дигар таҷрибаҳо аз ҷониби олимони иљтимої, ки ба лабораторияи ва мавъиза dichotomy мувофиқат намекунад Бодиккат:. Таҷрибаҳои тадќиќот ва таҷрибаҳо иљтимої таҷрибаҳо Тадќиќоти шудаанд таҷрибаҳо истифода аз инфрасохтори тадқиқоти мавҷуда ва нисбат ба посухҳо ба версияҳои алтернативии ҳамин саволҳо (баъзе таҷрибаҳо тадќиќот дар боби 3 пешниҳод); барои бештар дар бораи таҷрибаҳои тадќиќот мебинем Mutz (2011) . таҷрибаҳои иҷтимоӣ таҷрибаҳо, ки табобати баъзе аз сиёсати иљтимої, ки метавонад танҳо аз ҷониби ҳукумат амалӣ аст. таҷрибаҳо иҷтимоӣ зич вобаста ба барнома арзёбї. Барои бештар дар бораи таҷрибаҳои сиёсатгузорӣ, нигаред Orr (1998) , Glennerster and Takavarasha (2013) , ва Heckman and Smith (1995) .

Як қатор ҳуҷҷатҳои озмоишгоҳи ва майдони таҷрибаҳо дар реферат муқоиса кардаанд (Falk and Heckman 2009; Cialdini 2009) ва дар робита ба натиҷаҳои таҷрибаҳои мушаххас дар илм сиёсӣ (Coppock and Green 2015) , иқтисодиёт (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ва психология (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) пешниҳод нақшаи тадқиқоти хуб барои муќоисаи натиљањои аз лабораторияи ва майдони таҷрибаҳо.

Нигарониҳо дар бораи иштирокчиёни тағйири рафтори онҳост, зеро медонанд, ки онҳо доранд зич мушоҳида баъзан таъсири талабот даъват намуда, ба онҳо дар психология омӯхта шуд (Orne 1962) ва иқтисодӣ (Zizzo 2009) . Ҳарчанд асосан бо таҷрибаҳои лабораторияи алоқаманд, ки ин ба ҳамин масъала метавонад мушкилоти онҳо барои таҷрибаҳои соҳаи инчунин мегардад. Дар асл, таъсири талабот низ баъзан таъсири ҳтрн номида, замоне, ки аз таҷрибаи соҳаи натанњо, махсусан таҷрибаҳо партави машҳури, ки дар соли 1924 дар корҳои ҳтрн ширкати ғарбӣ барқ сар (Adair 1984; Levitt and List 2011) . Ҳам таъсири талабот ва таъсири дулона зич ба идеяи андозагирии аксуламаліои баррасӣ дар боби 2 алоқаманд (Ҳамчунин нигаред ба Webb et al. (1966) ).

Таърихи таҷрибаҳои соҳаи шудааст, ки дар иқтисодиёт тасвир (Levitt and List 2009) , сиёсатшиносӣ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , равоншиносӣ (Shadish 2002) , ва сиёсати давлатӣ (Shadish and Cook 2009) . Яке аз соҳаи илмҳои иҷтимоӣ, ки таҷрибаҳои соҳаи зуд машҳур гашт ба рушди байналмилалӣ мебошад. Барои баррасии мусбати кор дар доираи иқтисодиёт ниг Banerjee and Duflo (2009) , ва барои арзёбии муҳим дид Deaton (2010) . Барои баррасии ин кор дар илми сиёсӣ мебинем Humphreys and Weinstein (2009) . Дар охир, мушкилоти ахлоқӣ ҷалб бо таҷрибаҳои соҳаи кардаанд, дар илм сиёсӣ кашф шудааст (Humphreys 2015; Desposato 2016b) ва иқтисод рушд (Baele 2013) .

Дар боби, ман пешниҳод карданд, ки маълумоти пеш аз табобат метавонад истифода шавад барои баланд бардоштани дақиқ намудани таъсири табобати арзёбӣ шудааст, вале баъзе аз баҳсҳо дар бораи ин равиш вуҷуд дорад: Freedman (2008) , Lin (2013) , ва Berk et al. (2013) ; ниг Bloniarz et al. (2016) барои маълумоти бештар.

• Њаракат ба берун аз таҷрибаҳои оддӣ (боби 4.4)

Ман интихоб кардам, ки диққатамонро ба се мафҳумҳои: амали, нигоњи таъсири табобат ва механизмҳои. Ин мафҳумҳо доранд, номҳои гуногун дар соҳаҳои гуногун. Масалан, равоншиносон одатан берун аз таҷрибаҳои оддӣ ҳаракат аз тарафи тамаркуз ба миёнҷӣ ва модератори (Baron and Kenny 1986) . Идеяи миёнаравон аст, ки бо кадом ман механизмҳои даъват забт ва идеяи модератори аст, ки бо кадом ман амали беруна (масалан, оё натиҷаҳои таҷрибаи гуногун бошад, агар он дар ҳолатҳои гуногун идора карда шуд) ва нигоњи таъсири табобати (даъват гирифташуда масалан, таъсири калон барои баъзе одамон аз одамони дигар) мебошанд.

Дар озмоиш аз Schultz et al. (2007) нишон медиҳад, ки чӣ тавр назарияи иљтимої метавонад истифода шавад барои тарњрезї ва татбиќи самаранок. Барои далели умумӣ бештар дар бораи нақши назария дар тањияи барнома самаранок, нигаред Walton (2014) .

• Амали (боби 4.4.1)

Ба консепсияіои амали дохилӣ ва беруна аввал ворид карда шуданд Campbell (1957) . Бингар, ки Shadish, Cook, and Campbell (2001) барои таърихи муфассал бештар ва таҳияи эҳтиёт амали хулосаи оморӣ, амали дохилӣ, сохтмон амали, ва амали беруна.

Барои шарҳи масъалаҳои вобаста ба амали хулосаи оморӣ дар таҷрибаҳо дид Gerber and Green (2012) (барои дурнамои илмҳои иҷтимоӣ) ва Imbens and Rubin (2015) (барои як назари оморї). Баъзе масъалаҳои амали хулосаи оморӣ, ки махсусан дар таҷрибаҳои соҳаи онлайн меоянд дохил масъалаҳои ба монанди усули computationally самаранок барои ташкили фосилаи боварӣ бо маълумоти вобаста (Bakshy and Eckles 2013) .

амали дохилӣ метавонад душвор бошад барои таъмини ки дар таҷрибаҳои соҳаи мураккаб. Масалан, нигаред Gerber and Green (2000) , Imai (2005) , ва Gerber and Green (2005) барои баҳс дар бораи татбиқи таҷрибаи соҳаи мураккаб дар бораи овоздиҳӣ. Kohavi et al. (2012) ва Kohavi et al. (2013) пешниҳод ҷорӣ ба мушкилоти амали фосилаи дар таҷрибаҳои соҳаи онлайн.

Яке аз ташвиши асосии бо амали дохилӣ мушкилоти озодона аст. Як роҳе, ки эҳтимолан ошкор мушкилот бо интихоби озодона аст, ки ба нисбат ба гурӯҳҳои муолиҷа ва назорати хислатҳои мушоҳидашаванда. Ин гуна аст, ки нисбат ба чек тавозуни номида мешавад. Бингар, ки Hansen and Bowers (2008) барои як равиши оморї ба мувозинат чекҳо ва бубинед Mutz and Pemantle (2015) ва ташвиши дар бораи санҷиши тавозуни. Масалан, бо истифода аз тавозуни санҷед Allcott (2011) ёфтан мумкин аст, ки баъзе далелҳое, ки озодона буд, дуруст дар се таҷрибаҳо дар баъзе аз таҷрибаҳо OPower татбиқ нашуда буд (ба ҷадвали 2 нигаред; сайтҳо 2, 6 ва 8). Барои равишҳои дигар, нигаред Imbens and Rubin (2015) , боби 21.

Дигар масъалаҳои асосӣ вобаста ба амали дохилӣ мебошанд: 1) як-ҳамроҳ риоя, ки дар он на ҳама дар гурӯҳҳои табобат гирифта аслан табобат гирифта, 2) ду ҳамроҳ риоя, ки дар он на ҳама дар гурӯҳҳои табобат гирифта табобат ва баъзе қабул одамон дар гурӯҳи назорат табобат, 3) attrition, ки дар он натиҷаҳои барои баъзе аз иштирокчиён андоза нест, ва 4) монеъ шудан, ки дар он табобат рехтани беш аз мардум дар ҳолати табобат ба одамон дар ҳолати назоратӣ мегиранд. Бингар, ки Gerber and Green (2012) боби 5, 6, 7, 8 ва барои бештар дар бораи ҳар як аз ин масъалаҳо.

Барои бештар дар бораи амали сохтмони, ниг Westen and Rosenthal (2003) , ва барои бештар дар бораи амали сохтмони дар манбаъњои маълумоти калон, Lazer (2015) ва боби 2-и ин китоб.

Яке аз ҷиҳати амали беруна ғурубгоҳи ки барномаи озмуда аст. Allcott (2015) табобати назариявӣ ва ададї эҳтиёт Хатои интихоби сомона таъмин менамояд. Ин масъала низ баррасӣ Deaton (2010) . Ба ғайр аз дар бисёре аз сомонаҳои такрор, ки Home Њисобот оид ба энергетика барнома ҳамчунин мустақилона аз ҷониби гурӯҳҳои тадқиқоти сершумор омӯхта (масалан, Ayres, Raseman, and Shih (2013) ).

• Нигоњи таъсири табобати (боби 4.4.2)

Барои шарҳи аъло аз нигоњи таъсири табобати дар таҷрибаҳои соҳаи, боби 12 нигаред Gerber and Green (2012) . Зеро пешниҳоди ба нигоњи таъсири табобати озмоишҳои тиббӣ, нигаред Kent and Hayward (2007) , Longford (1999) , ва Kravitz, Duan, and Braslow (2004) . Нигоњи таъсири табобат умуман оид ба фарќияти дар асоси хусусиятњои пеш аз табобат равона. Агар шумо манфиатдор дар нигоњи дар асоси натиҷаҳои баъд аз табобат аст, пас approachs мураккаб бештар ба монанди ризоияти асосии лозим (Frangakis and Rubin 2002) ; нигаред ба Page et al. (2015) , барои баррасии.

Бисёре аз муҳаққиқон ҳисоб нигоњи таъсири табобати истифода барданд адресатсияи, аммо усулҳои тозатар оид ба омӯзиши мошини такя, масалан Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ва Athey and Imbens (2016a) .

Аст, ки баъзе пора дар бораи натиҷаҳои аз нигоњи таъсири сабаби мушкилоти нисбат сершумор ва «моњипарварї." Як муносибатҳои гуногуни оморӣ, ки метавонад нигарониҳои суроғаи дар бораи нисбат ба сершумор кӯмак вуҷуд дорад (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Яке аз усули нигаронӣ дар бораи «моҳидорӣ« қабл аз бақайдгирии аст, ки њад зиёд дар психология маъмул аст (Nosek and Lakens 2014) , илм сиёсӣ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ва иқтисодиёт (Olken 2015) .

Дар омӯзиши Costa and Kahn (2013) танҳо дар бораи нисфи хонаводањо дар озмоиш метавонад ба маълумоти демографї вобаста карда буданд. Хонандагон бо тањлили мазкур манфиатдоранд, ки дар тафсилот ва мушкилоти имконпазир бояд ба коғаз аслии муроҷиат кунед.

• Механизмњои (боби 4.4.3)

Механизмњои бениҳоят муҳим мебошанд, вале онҳо рӯй берун шавад хеле душвор таҳсил мекунанд. Тадқиқот дар бораи механизмҳои зич ба омӯзиши миёнаравон дар психология вобаста (, балки ҳамчунин ниг VanderWeele (2009) барои муқоисаи дақиқ байни ду ғояҳои). Равишҳои оморӣ ба механизмҳои пайдо, ба монанди равиши таҳия Baron and Kenny (1986) , хеле маъмул. Мутаассифона, он рӯй, ки касоне, тартиби баъзе пиндоштҳо сахт вобаста аст (Bullock, Green, and Ha 2010) ва уқубат вақте ки механизмҳои гуногун вуҷуд дорад, ки яке, то ки дар бисёре аз вазъиятҳои интизор (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ва Imai and Yamamoto (2013) пешниҳод баъзе аз усулњои оморї бењтар. Ғайр аз ин, VanderWeele (2015) пешниҳод табобати китоб-дарозии бо як қатор натиҷаҳои муҳим, аз ҷумла муносибати ҳамаҷониба ба таҳлили ҳассосият.

Равиши алоҳида оид ба таҷрибаҳо, ки кӯшиш бухгалтер механизми бевосита (масалан, маллоҳон додан витамини C) равона шудааст. Мутаассифона, дар бисёр танзимоти илмҳои иҷтимоӣ аксаран вуҷуд механизмҳои гуногун ва душвор аст, ки ба тарҳрезӣ табобат, ки ба тағйир яке аз бе тағйир додани дигарон. Баъзе аз равишҳои ба таври озмоиш механизмҳои тағйиротро дар тасвир Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ва Pirlott and MacKinnon (2016) .

Дар охир, механизмҳои низ таърихи дуру дароз дар фалсафаи илм доранд, чунон ки аз тарафи тасвир Hedström and Ylikoski (2010) .

• Истифодаи муҳити мавҷуда (боби 4.5.1.1)

Барои бештар дар бораи истифодаи таҳқиқоти мукотиба ва омӯзиши аудити барои чен кардани табъиз мебинем Pager (2007) .

• Сохтани озмоиш худ (боби 4.5.1.2)

Дар роҳи бештар маъмул ҷалб иштирокчиён ба таҷрибаҳо, ки шумо бино Amazon механикии турк (MTurk) мебошад. Азбаски MTurk аутизмро ҷанбаҳои таҷрибаҳои-пардохти лабораторияи анъанавии мардуми ба анҷом вазифаҳое, ки онҳо нахостанд барои муҳаққиқони ройгон бисёр кор аллакай шурӯъ истифода Turkers (коргарони MTurk) ҳамчун иштирокчиёни фанҳои инсон таҷрибаҳо дар натиҷа љамъоварии маълумот тезтар ва арзонтар аз анъанавии дар шаҳраки донишҷӯён таҷрибаҳои лабораторӣ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Бузургтарин қувваи таҷрибаҳо бо иштирокчиёни қабул аз MTurk моддию доранд: онҳо ба муҳаққиқон барои ҷалб иштирокчиён зуд ва лозим аст. Дар сурате ки таҷрибаҳо лабораторияи метавонад ҳафта ба кор мегирад ва таҷрибаҳо соҳаи метавонад моњ ба танзим-то, таҷрибаҳо бо иштирокчиёни қабул аз MTurk мумкин аст, дар рӯзҳои давида. Барои мисол, Berinsky, Huber, and Lenz (2012) қодир ба ҷалб 400 субъектњои дар як рӯз барои иштирок дар озмоиш дақиқаи 8 буданд. Ғайр аз ин, аз ин иштирокчиён метавонанд барои қариб ягон мақсад ҷалб (аз он ҷумла тадќиќот ва ҳамкории омма, чунон ки дар боби 3 баррасӣ ва 5). Ин осонии ҷалб маъно дорад, ки олимон метавонанд Пасиҳамоии аз таҷрибаҳои алоқаманд пай дар пай босуръати давида.

Пеш аз он ки ҷалби иштирокчиён аз MTurk барои таҷрибаҳои худ, чаҳор чиз муҳим донист ҳастанд. Якум, бисёр муњаќќиќон як пора ғайридавлатӣ мушаххас таҷрибаҳои ҷалби Turkers. Зеро ин пора аст, мушаххас нест, он душвор аст, ки ба муқобили бо далелҳо. Бо вуҷуди ин, пас аз чанд сол таҳсил истифода Turkers, мо ҳоло хулоса барорем, ки ин пора аст, хусусан лозим нест. бисёр омӯзиш муқоиса кардани демографӣ аз Turkers ба дигар аҳолӣ ва бисёре аз таҳқиқот муқоисаи натиҷаи таҷрибаҳои бо Turkers ба натиҷаҳои аз дигар аҳолии вуҷуд доранд. Бо дарназардошти ҳамаи ин кор, ман фикр мекунам, ки беҳтарин роҳе барои шумо, ки дар бораи он фикр аст, ки Turkers як намунаи роҳати оқилона, хеле монанд донишҷӯён, вале каме бештар гуногун (Berinsky, Huber, and Lenz 2012) . Ҳамин тариқ, чӣ тавре ки донишҷӯён аҳолӣ оқилона барои баъзе, вале на ҳамаи тадқиқоти таҷрибавӣ аст, Turkers аҳолӣ оқилона барои баъзе, вале на ҳамаи тадқиқот мебошанд. Агар шумо ба зудӣ ба кор бо Turkers, Пас аз он медиҳад, ба маънои хондан бисёре аз ин таҳқиқоти муқоисавӣ ва фаҳмидани нозукиҳои худ.

Дуюм, муҳаққиқон беҳтарин таҷрибаҳои барои баланд бардоштани эътибори дохилии таҷрибаҳои турк таҳия кардаанд, ва шумо бояд дар бораи омӯзиш ва ин беҳтарин таҷрибаҳои пайравӣ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Масалан, муҳаққиқон истифода Turkers ташвиқ карда мешаванд, истифода screeners ба хориҷ иштирокчиёни inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (, балки ҳамчунин ниг DJ Hauser and Schwarz (2015b) ва DJ Hauser and Schwarz (2015a) ). Агар шумо иштирокчиён inattentive бартараф намекунад, пас ҳар гуна таъсири табобат мумкин аст аз ҷониби садои ҷорӣ аз иштирокчиёни inattentive шуст, ва дар амал шумораи иштирокчиён inattentive метавонад назарраси. Дар озмоиш аз Хубер ва ҳамкорони (2012) тақрибан 30% иштирокчиёни screeners диққати асосӣ натавонист. Як мушкилии дигари умумӣ бо иштирокчиёни Turkers ғайридавлатӣ соддалавҳона аст (Chandler et al. 2015) .

Сеюм, нисбат ба баъзе дигар намудҳои таҷрибаҳои рақамӣ, таҷрибаҳои MTurk мумкин нест васеъгардонии; Stewart et al. (2015) ҳисоб кардааст, ки дар вақти дилхоҳ додааст, танҳо дар бораи 7000 нафар MTurk нест.

Ниҳоят, шумо бояд донед, ки MTurk ҷомеа бо қоидаҳо ва меъёрҳои худ аст (Mason and Suri 2012) . Дар ҳамин тавр, ки шумо кӯшиш кунед, ки пайдо бораи фарҳанги кишвар ба куҷо меравед шуда ба кор таҷрибаҳо худ, шумо бояд кӯшиш ба пайдо бештар дар бораи фарҳанг ва меъёрҳои Turkers (Salehi et al. 2015) . Ва, шумо бояд бидонед, ки Turkers хоҳад сухан дар бораи озмоиш шумо, агар шумо кореро ноҷоиз ва ё ғайриахлоқӣ (Gray et al. 2016) .

MTurk роҳи бениҳоят қулай барои ҷалб иштирокчиёни озмоиши шумост, ки оё онҳо лабораторияи аст-ба монанди ҳастанд, ба монанди Huber, Hill, and Lenz (2012) , ва ё беш аз соҳаи-ба монанди, ба монанди Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ва Mao et al. (2016) .

• Сохтани маҳсулоти худ (боби 4.5.1.3)

Агар шумо фикр кӯшиши сохтани маҳсулоти худ, Ман тавсия медиҳанд, ки ба шумо маслиҳат пешниҳод аз ҷониби гурӯҳи MovieLens дар хондани Harper and Konstan (2015) . Ин фаҳмиш асосии аз таҷрибаи худ аст, ки барои ҳар як лоиҳа бомуваффақият бисёр, бисёр нокомиҳо нест. Масалан, гурӯҳи MovieLens дигар маҳсулоти ба монанди GopherAnswers, ки камбудиҳо пурра буданд, оғоз (Harper and Konstan 2015) . Мисоли дигари як пажӯҳишгари ғайриқаноатбахш ҳангоми кӯшиши сохтани маҳсулот кӯшиши Эдвард Castronova барои сохтани як бозии онлайн даъват Arden аст. Сарфи назар аз 250,000 $ маблағгузорӣ, лоиҳаи як flop буд (Baker 2008) . Лоиҳахо монанди GopherAnswers ва Arden доранд, мутаассифона, бештар маъмул аз лоиҳаҳо ба монанди MovieLens. Дар охир, вақте ки ман гуфт, ки ман ҳар гуна муҳаққиқони дигаре, ки бомуваффақият маҳсулоти сохта буд, ки барои озмоишҳо такрор нест, медонам, дар ин ҷо ҳастанд, меъёрҳо Ман: 1) иштирокчиёни истифода маҳсулот ба сабаби он чӣ ба онҳо рӯзӣ (масалан, онҳо музд дода намешавад ва онҳо нест, ихтиёриён кӯмак ба илм) ва 2) маҳсулот шудааст, ки барои зиёда аз як озмоиш равшан (яъне, на ҳамон озмоиши гуногун маротиба бо ҳавзҳои иштирокдори гуногун) истифода бурда мешавад. Агар шумо мисоли дигар медонед, лутфан ба ман хабар диҳед.

• Шарики бо пурқудрати (Фасли 4.5.2)

Ман шунида будам, идеяи Quadrant Пастер Русия зуд-зуд дар ширкатҳои технологӣ муҳокима, ва он кӯмак мекунад, ташкил талошҳои илмӣ дар Google (Spector, Norvig, and Petrov 2012) .

Бонд ва омӯзиши ҳамкасбони » (2012) низ кӯшиш мекунад, ки ошкор кардани таъсири ин табобат, ки бар дустони касоне, ки аз онҳо ба ҳузур пазируфт. Аз сабаби тарҳрезии озмоиш, ин spillovers мебошанд ошкор cleanly мушкил; хонандагон манфиатдор бояд дид Bond et al. (2012) , барои муҳокимаи ҳамаҷониба бештар. Ин озмоиш қисми анъанаҳои чандинасраи таҷрибаҳо дар илм сиёсӣ ба кӯшишҳои рӯҳбаланд овоздиҳӣ аст (Green and Gerber 2015) . Ин таҷрибаҳо даст-аз-ба-овозҳо дар қисми умумӣ мебошанд, зеро онҳо дар Quadrant Пастер мебошанд. Ин аст, бисёр одамоне, ки ангезаи зиёд овоздиҳӣ ва овоздиҳӣ метавонад њамчун рафтори ҷолиб ба санҷидани назарияи умумӣ бештар дар бораи таѓйири рафтор ва таъсири иљтимої ҳастанд.

Дигар муҳаққиқон дар бораи пешбурди таҷрибаҳои соҳаи бо созмонҳои шарики монанди ҳизбҳои сиёсӣ, ташкилотҳои ҷамъиятӣ ва соҳибкорӣ маслиҳат пешниҳод кардаанд (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Дигарон маслиҳат дар бораи чӣ гуна њамкорї бо ташкилотњои метавонанд тарҳҳои илмӣ таъсир пешниҳод кардаанд (Green, Calfano, and Aronow 2014; King et al. 2007) . Ҳамкории инчунин метавонед ба саволҳои ахлоқӣ боиси (Humphreys 2015; Nickerson and Hyde 2016) .

• Маслиҳат Design (боби 4.6)

Агар шумо ба зудӣ таъсис додани нақшаи таҳлили пеш аз корандозӣ озмоиш кардед, ман пешниҳод менамоянд, ки шумо, ки бо хондани дастури ҳисоботӣ оғоз. Дар ҳамсаре (муттаҳидсозандаи Стандарт ва ҳисоботии Озмоишҳо) дастурҳо дар тибби тањия шудаанд (Schulz et al. 2010) ва тағйир барои таҳқиқоти иҷтимоӣ (Mayo-Wilson et al. 2013) . Маҷмӯи дахлдори дастурҳо аз тарафи муњаррирон ба Маҷаллаи Илм таҷрибавии сиёсӣ таҳия кардааст (Gerber et al. 2014) (Ҳамчунин нигаред ба Mutz and Pemantle (2015) ва Gerber et al. (2015) ). Дар охир, роҳнамо гузориш дар психология таҳия шудаанд (Group 2008) , ва низ ниг Simmons, Nelson, and Simonsohn (2011) .

Агар шумо нақшаи таҳлил эҷод шумо бояд ба назар пеш аз бақайдгирии он сабаб пеш аз бақайдгирии хоҳад боварӣ намуд, ки дигарон дар натиҷаҳои худро доранд, зиёд мешавад. Ғайр аз ин, агар ба шумо кор бо як шарики, он қобилияти шарики худ ба тағйир додани таҳлили пас аз дидани натиҷаҳои маҳдуд мекунад. Пеш аз сабти ном аз њад зиёд дар психология умумӣ (Nosek and Lakens 2014) , илм сиёсӣ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ва иқтисодиёт (Olken 2015) .

Дар ҳоле ки эҷоди нақшаи пешакӣ таҳлили шумо бояд донед, ки баъзе аз муҳаққиқон низ баргашт ва равишҳои вобаста ба беҳтар намудани дақиқ намудани таъсири табобати ҳисоб истифода баред, ва баъзе баҳс дар бораи ин равиш вуҷуд дорад: Freedman (2008) , Lin (2013) , ва Berk et al. (2013) ; ниг Bloniarz et al. (2016) барои маълумоти бештар.

Дизайн маслиҳат махсусан барои таҷрибаҳои соҳаи онлайн аст, низ дар пешниҳод Konstan and Chen (2007) ва Chen and Konstan (2015) .

• Эҷоди сифр маълумоти арзиши тағйирёбанда (боби 4.6.1)

Барои бештар дар бораи таҷрибаҳои MusicLab, аз нигаред Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ва Salganik (2007) . Барои бештар дар бораи ѓолиб-гирад дар ҳамаи бозорҳо, нигаред Frank and Cook (1996) . Барои бештар дар бораи иқбол ва маҳорати untangling умуман зиёдтар ба Mauboussin (2012) , Watts (2012) , ва Frank (2016) .

аст, равиши дигаре ба аз байн бурдани пардохтҳои иштирокчї, ки муҳаққиқон, бояд бо эҳтиёт истифода нест: баҳорӣ. Дар бисёре аз таҷрибаҳои соҳаи онлайн иштирокчиён асосан ба таҷрибаҳо тањия ва ҳаргиз ҷуброн карда мешавад. Намунаҳои ин усул иборатанд аз Restivo ва Ван де Rijt кард (2012) озмоиш дар бораи муздашонро дар Википедиа ва ғуломон ва ҳамтои кард (2012) озмоиш оид ба ташвиқ одамонро ба овоз диҳад. Ин таҷрибаҳо дар ҳақиқат доранд сифр арзиши тағйирёбанда, ки онҳо доранд, сифр арзиши тағйирёбанда ба муҳаққиқон. Ҳарчанд арзиши бисёре аз ин таҷрибаҳо ба њар як иштирокчї хеле хурд аст, хароҷоти хурд бароварда шумораи бузурги иштирокчиён метавонед зуд илова кунед, то. Тадқиқотчиён иҷро таҷрибаҳо онлайн азими аксаран аҳамияти таъсири табобати тақрибан хурд дода гуфтанд, ки ин таъсири хурд метавонад, вақте ба бисёр одамон истифода бурда муҳим табдил сафед. Дар тафаккури аниқи ҳамин ба хароҷоти, ки муҳаққиқон љорї оид ба њар иштирокчї дахл дорад. Агар таҷрибаҳо шумо сабаби як миллион нафар намесозад як дақиқа, аз озмоиш аст, ки ба ҳар як шахси аз ҷумла хеле зараровар нест, балки дар маҷмӯъ аз он қариб ду сол вақт сарф мегардад.

Равиши дигар ташкили сифр тағйирёбанда пардохти арзиши ба иштирокчиёни аст, ки ба истифода лотерея, равиши, ки ҳамчунин дар тадқиқоти тадќиќот истифода бурда мешавад (Halpern et al. 2011) . Дар охир, зеро ки бештар дар бораи таҳияи хурсандиовар корбар таҷрибаи ниг Toomim et al. (2011) .

• Ҷойгузории аниќ, ва Коҳиш (боби 4.6.2)

Дар ин ҷо ба таърифи аслии аз се R, ки аз мебошанд Russell and Burch (1959) :

«Иваз маънои иваз барои бошуурона зиндагӣ ҳайвонот баланди маводи insentient. Паст кардани сатњи паст гардид, яъне дар шумораи чорво истифода бурда мешавад барои ба даст овардани иттилооти маблағи мазкур ва дақиқ. Такмили маънои ҳама гуна кам кардани беморшавї ва ё сахтгирии расмиёти ѓайриинсониро нисбат ба касоне, ҳайвонот, ки ҳоло ҳам истифода шавад. "

Се R кард, ки ман пешниҳод мекунем принсипҳои ахлоқӣ дар боби 6. ҷойгузор не Баръакс, онҳо як нусхаи таҳия боз яке аз он принсипҳои-эҳсонкорӣ-махсусан барои ба ғурубгоҳи таҷрибаҳои инсонӣ мебошанд.

Ҳангоми дида Contagion эҳсосотӣ, се масоили ғайри ахлоқӣ дар хотир нигоҳ ҳангоми тафсири ин озмоиш аст. Аввал, он аст, равшан нест, ки чӣ тавр тафсилоти воқеии озмоиш пайвастшавӣ ба талаботи назариявӣ; ба ибораи дигар, савол дар бораи амали сохтмони нест. Ин аст, равшан нест, ки ҳисоб калимаи мусбат ва манфӣ дар асл нишондиҳандаи хуби давлат эҳсосӣ иштирокчиён, чунки 1) аст, равшан нест, ки суханонеро, ки мардум овехтани як нишондиҳандаи хуб ІН ва 2) он аст, равшан, ки на техникаи таҳлили тамоюли махсус, ки муҳаққиқон истифода бурда тавонист боэътимод хулоса ІН мебошад (Beasley and Mason 2015; Panger 2016) . Ба ибораи дигар, то як андоза бад як сигнал яктарафа нест. Дуюм, намуна ва таҳлили таҷрибаи мо чизе дар бораи он ки аз ҳама таъсири шуд (яъне, ҳеҷ таҳлили аз нигоњи таъсири табобати нест) ва он чиро, механизми шояд нақл мекунад. Дар ин ҳолат, тадқиқотчиён қуръа маълумот дар бораи иштирокчиёни дошт, вале онҳо аслан ҳамчун паҳни дар таҳлили аҳвол дучор шуда буданд. Сеюм, андозаи таъсир дар ин озмоиш хеле хурд буд; фарқи байни шароити табобат ва назорати дар бораи 1 ба 1000 суханони аст. Дар коғаз худ, Крамер ва ҳамкасбони кунад парванда, ки таъсири ин ба андозаи муҳим аст, зеро садҳо миллионҳо одамон дастрасӣ Ҳабарҳои онҳо ҳар рӯз Озуқаворк. Ба ибораи дигар, онҳо мегӯянд, ки ҳатто таъсири ки хурд барои ҳар як шахсе, ки онҳо бузург дар маҷмӯъ ҳастанд. Ҳатто, агар шумо буданд, қабул ба ин далел, он аст, ки ҳанӯз равшан агар таъсири ин андозаи муҳим аст, дар бораи масъалаи илмӣ умумӣ бештар дар бораи contagion эҳсосӣ. Барои бештар дар бораи ҳолатҳое, ки таъсири хурд муҳим мебошанд дидани Prentice and Miller (1992) .

Дар робита ба аввалин R (Иваз), муқоиса таҷрибаи эҳсосотӣ Contagion (Kramer, Guillory, and Hancock 2014) ва contagion эмотсионалии таҷрибаи табии (Coviello et al. 2014) пешниҳод баъзе аз дарсҳои умумӣ дар бораи мубодилаҳои ҷалб бо гузаштан аз таҷрибаҳо озмоиши табиӣ (ва равишҳои дигар ба монанди нашуд, ки ин кӯшиши ба тақрибии таҷрибаҳо дар маълумоти ғайридавлатӣ таҷрибавӣ, Боби 2 нигаред). Илова ба манфиатҳои ахлоқӣ, гузариш аз озмоишї ба омӯзиши ғайридавлатӣ таҷрибавӣ инчунин бо тадқиқотчиён, имконият медиҳад, ки таҳсил табобат, ки онҳо logistically карда наметавонем, барои љойгир. Ин манфиатҳои ахлоқӣ ва моддию дар арзиши омада, вале. Бо таҷрибаҳои табиии муҳаққиқон доранд, назорат камтар бар он чи ба монанди ҷалби иштирокчиён, интихоби озодона ва хусусияти табобат. Масалан, яке аз маҳдуд кардани боришот ҳамчун табобат аст, ки он ҳам зиёд positivity ва negativity коҳиш меёбад. Дар омӯзиши таҷрибавӣ, аммо Крамер ва ҳамкорони қодир ба танзим positivity ва negativity мустаќилона буданд.

Ба муносибати махсус истифода бурда аз тарафи Coviello et al. (2014) минбаъд дар таҳия шуда буд Coviello, Fowler, and Franceschetti (2014) . Зеро, ҷорӣ ба тағйирёбандаҳои олатбоб мебинем Angrist and Pischke (2009) (камтар расмӣ) ё Angrist, Imbens, and Rubin (1996) (расмӣ). Барои арзёбии шубҳа аз тағйирёбандаҳои олатбоб мебинем Deaton (2010) , ва барои ҷорӣ ба тағйирёбандаҳои омили бо воситаҳои суст (борон асбоби заиф аст), нигаред ба Murray (2006) .

Бештар дар маҷмӯъ, як ҷорӣ хуб ба таҷрибаҳои табиї мебошад Dunning (2012) , ва Rosenbaum (2002) , Rosenbaum (2009) , ва Shadish, Cook, and Campbell (2001) пешниҳод фикрҳои хуб дар бораи арзёбии таъсири алоќаи бе таҷрибаҳо.

Дар мавриди дуюм R (такмили), ҳастанд илмӣ ва моддию мубодилаҳои ҳангоми баррасии тағйир тарҳрезии Contagion эҳсосотӣ аз бастани Заметки ба таҳкими Заметки нест. Масалан, он метавонад мавриди татбиқи техникии Озуқаворӣ Навидҳои медиҳад, он аст, ба таври назаррас осонтар ба кор озмоиш бо бастани Заметки на аз озмоиш бо таҳкими Заметки (дар назар доред, ки ба озмоиш бо бастани Заметки метавон ҳамчун як қабати оид ба амалӣ болои системаи Feed Ҳабарҳои бе ягон зарурати таѓйироти системаи аслї). Муосир, бо вуҷуди ин, назарияи ирсол шудааст, таҷрибаи аниқ пешниҳод як тарҳи бар дигар нест.

Мутаассифона, ман таҳқиқоти қаблӣ назаррас дар бораи хизмати нисбии бастани ва густариши маводи дар Озуқаворӣ Навидҳои огоҳ нестам. Ҳамчунин, Ман таҳқиқоти бисёр дар бораи тоза кардани табобат ба онҳо камтар зараровар, надидаӣ; як истисно аст, Jones and Feamster (2015) , ки дар мавриди чен кардани сензура Интернет баррасӣ (мавзӯи ман дар боби 6 дар муносибат ба омӯзиши Encore ба муҳокима (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Дар мавриди сеюм R (паст), як ҷорӣ хуб ба таҳлили маъмулии аст Cohen (1988) . оддие пеш аз табобат мумкин аст, дар марҳилаи тарҳрезӣ ва марҳилаи таҳлили таҷрибаҳои дохил карда шудаанд; Боби 4 Gerber and Green (2012) таъмин ҷорӣ хуб ба ҳам наздик ва Casella (2008) табобати бештар дар чуқурии-таъмин менамояд. Техникаи, ки ин маълумот пеш аз табобат дар интихоби озодона истифода маъмулан ном ё тарҳҳои таҷрибавӣ ва ё намунањои таљрибавии ќабатбандї (ба истилоҳоти аст, пайваста дар саросари ҷамоатҳои истифода бурда надорад) баста; Ин техникаи сахт ба техникаи интихоб ќабатбандї баррасӣ Боби 3. Ниг вобаста Higgins, Sävje, and Sekhon (2016) барои бештар дар бораи истифодаи ин тарҳҳои дар таҷрибаҳои азими. Оддие пеш аз табобат низ метавонад дар марҳилаи таҳлили дохил карда шавад. McKenzie (2012) омӯхта муносибати фарқи-дар-фарқиятҳо ба таҳлили таҷрибаҳо дар соҳаи ба таври муфассал бузургтар. Бингар, ки Carneiro, Lee, and Wilhelm (2016) барои бештар дар бораи мубодилаҳои миёни равишҳои гуногун барои баланд бардоштани дақиқ дар арзёбии таъсири табобат. Дар охир, вақте ки ин ё он кӯшиш ба дохил оддие пеш табобат дар тарҳи ё таҳлили марҳилаи (ё ҳарду), як чанд омилҳо ба назар нест. Дар ғуруби он ҷо муҳаққиқон мехоҳанд, нишон медиҳад, ки онҳо «моҳидорӣ» на (Humphreys, Sierra, and Windt 2013) , бо истифода аз оддие пеш аз табобат дар марҳилаи тарҳрезӣ метавонад муфид бошад (Higgins, Sävje, and Sekhon 2016) . Дар ҳолатҳое, ки иштирокчиёни меоянд пай, таҷрибаҳои соҳаи махсусан онлайн, бо истифода аз маълумоти пешакӣ табобат дар марҳилаи тарҳрезӣ метавонад logistically душвор бошад, мисол нигаред Xie and Aurisset (2016) .

Қобили илова як каме аз хисси чаро фарқи-дар-фарќияти метавонад то хеле самаранок бештар аз фарқи-дар-воситаҳои аст. Бисёре аз натиҷаҳои онлайн ихтилоф хеле баланд аст (ниг масалан, Lewis and Rao (2015) ва Lamb et al. (2015) ) ва бо мурури замон нисбатан мӯътадил мебошад. Дар ин ҳолат, холи тағйир хоҳад ихтилоф назаррас хурдтар дошта, баланд бардоштани қуввати санҷиши омории. Яке аз сабабҳои ба ин наздик аст, истифода бурда на бештар вақт аст, ки пеш аз ба синни рақамӣ буд умумӣ ба натиҷаҳои пеш аз табобат нест. Роҳи мушаххас бештар дар бораи он фикр аст, ки ба тасаввур озмоиш барои чен оё реҷаи машқи махсус сабаби гум вазни. Агар шумо муносибати фарқи-дар-воситаҳои, смета шумо тағйирёбии, ки аз тағйирёбии расад, ки дар тарозуи дар ањолї доранд. Агар шумо муносибати фарқи-дар-фарқи, вале, ки навъи табиатан рух дар тарозуи танбали, хориҷ ва шумо метавонад бо осонӣ ошкор фарқияти боиси табобат.

Яке аз роҳҳои муҳим барои паст кардани шумораи иштирокчиёни озмоиш шумо аст, ки ба гузаронидани таҳлили барқ, ки Крамер ва ҳамкорони метавонад дар асоси андозаи таъсир аз таҷрибаи табии аз тарафи мушоҳида кардаанд Coviello et al. (2014) ва тадқиқотии ғайридавлатии-таҷрибавӣ қабл аз ҷониби Крамер (2012) (дар асл ин фаъолият дар охири боби мазкур мебошанд). Аҳамият диҳед, ки ин истифодаи таҳлили барқ ​​каме фарқ хос аст. Дар синни аналогӣ, аз муҳаққиқон умуман кард таҳлили барқ, то боварӣ ҳосил, ки ба омӯхтани онҳо буд, хеле хурд нест, (яъне, назди-нигаронида). Вале дар айни ҳол, муҳаққиқон, бояд таҳлили барқ ​​кор, то боварӣ ҳосил, ки ба омӯхтани онҳо аст, хеле калон нест (яъне, бар-нигаронида).

Дар охир, Ман ба ҳисоб илова як R чорум: Repurpose. Ин аст, ки агар муҳаққиқон худро бо маълумоти таҷрибавӣ бештар пайдо кардани аз онҳо лозим аст, ки ҳалли масъалаи илмӣ аслии худ, онҳо бояд маълумот repurpose ба саволҳои нав мепурсанд. Масалан, тасаввур кунед, ки Крамер ва ҳамкорони як estimator фарқи-дар-фарқиятҳо бо иттилооти бештар лозим барои ҳалли масъалаи илмӣ истифода карда буд ва дар инҷо пайдо кунанд. Ба ҷои он ки бо истифода аз маълумот то ҳадди нест, ки онҳо метавонист ба андозаи аз таъсири ҳамчун функсияи то давраи табобати ифодаи эҳсосот омӯхта шавад. Ҳамон тавре ки Schultz et al. (2007) , ки таъсири табобати истифодабарандагони сабук ва вазнин гуногун буд, шояд таъсири Feed Ҳабарҳои барои мардуме, ки аллакай тамоюли барои овехтани паёмҳои хушбахт (ё ғамгин) гуногун буданд. Repurposing метавонад ба «моҳидорӣ» оварда мерасонад (Humphreys, Sierra, and Windt 2013) ва «саҳ-беиҷозат» (Simmons, Nelson, and Simonsohn 2011) , вале ин асосан бо маҷмӯи ҳисоботи ростқавл addressable (Simmons, Nelson, and Simonsohn 2011) , пеш аз бақайдгирӣ (Humphreys, Sierra, and Windt 2013) , ва усулҳои омӯзиши мошини, ки кӯшиш ба канорагирӣ бар Раво.