андан ары Комментарийди

Бул котормо ЭЭМдин менен түзүлгөн. ×

You are reading the Open Review Edition of Bit by Bit. Click here to read the 1st Edition.

андан ары Комментарийди

Бул бөлүмдө бир бири катары кароо керек эмес, шилтеме катары колдонуу максатында иштелип чыккан.

Introduction (4.1-бөлүм)

коомдук изилдөөлөр менен казуалдуулук тууралуу суроолор көп учурда татаал жана татаал болуп саналат. Себеп-диаграммалар негизинде себептер үчүн негизги мамиле, көрүп Pearl (2009) , ошондой эле мүмкүн болуучу жыйынтыгы боюнча бир негизги мамиле, көрүп Imbens and Rubin (2015) (жана бул бөлүмдө техникалык-тиркеме). Бул эки ыкма менен салыштыруу үчүн, кара Morgan and Winship (2014) . Бир confounder аныктоо үчүн расмий кайрылуу үчүн, кара VanderWeele and Shpitser (2013) .

бөлүмдө, мен эксперименталдык эмес жана эксперимент маалыматтардан себеп баа берүү жөндөмүн ортосунда жаркыраган сызык болуп көрүнгөн жараткан. чындыгында, мен айырмачылык blurrier деп ойлойм. Мисалы, ар бир адам тамеки адамдар тамеки мажбурлайт бир клиникалык изилдөөлөр эксперимент кылган эмесмин да, рак пайда деп кабыл алат. Эмес эксперименталдык маалыматтардын себептик сметасын даярдоо боюнча мыкты китеп узундугу менен дарылоонун көрүп Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ошондой эле Dunning (2012) .

Китебинин 1, 2- Freedman, Pisani, and Purves (2007) контролдонуучу тажрыйбаларды тажрыйбаларды, ортосундагы айырмачылыктарды эске так киргизүүнү сунуш жана Эксперимент клиникалык изилдөөлөр.

Manzi (2012) клиникалык изилдөөлөр тажрыйба таанымдык жана статистикалык түркүгү бир кызыктуу жана окула киргизүүнү камсыз кылат. Ал эле эмес, бизнесте да эксперимент бийликтин кызыктуу мисалдар менен камсыз кылат.

Эксперименттер эмне бар? (4.2-бөлүм)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) тажрыйба үлгүсүн жана талдоо статистикалык аспектилерине жакшы ачып берет. Андан сырткары, ал жерде ар түрдүү тармактарда тажрыйбаларды колдонууну мыкты дарылоо ыкмалары болуп төмөнкүлөр саналат: Экономика (Bardsley et al. 2009) , Мусулмандын (Willer and Walker 2007; Jackson and Cox 2013) , психология (Aronson et al. 1989) , Саясий илим (Morton and Williams 2010) , жана коомдук саясат (Glennerster and Takavarasha 2013) .

катышуучусу жумушка мааниси (мисалы, тандамалуу), көбүнчө тажрыйбалык иликтөөлөргө ылайык-ыраазы болуп саналат. Бирок, дарылоо таасири калктын гетерогендик болсо, анда тандап алуу маанилүү болуп саналат. Longford (1999) , бул ойду ачык-айкын, ал туш келди ылгап алуу менен калкты сурамжылоо сыяктуу эксперименттердин ойлоп изилдөөчүлөр үчүн үгүттөп жатканда кылат.

Эксперименттердин эки өлчөмдөрү: Лаборатория-талаа жана аналогдук-санариптик (4.3-бөлүм)

Мен лабораториялык жана талаа эксперименттер ортосунда тапшырды иптар алдында бир аз жөнөкөйлөтүлгөн болуп саналат. Чынында, башка изилдөөчүлөр толук жолдоруна сунуш, өзгөчө адамдар талаа тажрыйбаларды ар кандай түрлөрүн бөлүп (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Андан ары, эки лаборатория жана талаа парадокстун дыкан туура эмес, коомдук илимпоздор жасаган эксперименттеринин башка түрлөрү бар. Сурамжылоонун тажрыйба жана коомдук эксперименттердин Survey эксперименттер жаткан изилдөөлөрдүн объектилерди пайдалануу эксперименттер жана кошумча котормолоруна салыштыруу Ошол эле суроолор (кээ бир сурамжылоо эксперименттер 3-бөлүмдө берилген); Сурамжылоонун эксперименттердин көбүрөөк көрүп Mutz (2011) . Коомдук эксперименттер дарылоо гана өкмөт тарабынан ишке ашырыла турган кээ бир коомдук саясат эксперименттер бар. Коомдук эксперименттер тыгыз баалоону программа менен байланышкан. Саясат эксперименттердин дагы, көрүп Orr (1998) , Glennerster and Takavarasha (2013) , жана Heckman and Smith (1995) .

Бюллетендеринин бир катар тезистин лабораториялык жана талаа тажрыйба салыштырышкан (Falk and Heckman 2009; Cialdini 2009) жана саясий илимде белгилүү эксперименттердин натыйжалары боюнча (Coppock and Green 2015) , экономика (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) жана психология (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) лабораториялык жана талаа эксперименттердин жыйынтыктарын салыштыруу үчүн жакшы изилдөөнүн сунуш кылат.

Алар бири-бири менен тыгыз кээде суроо-талаптын таасири деп сакталып жаткан, жана алар психологиялык изилдене элек, анткени, алардын жүрүм-турумун өзгөртүү катышуучулардын байланыштуу тынчсыздануулар (Orne 1962) жана экономика (Zizzo 2009) . негизинен лабораториялык тажрыйбалар менен байланыштуу болсо да, ошол эле маселелер, ошондой эле талаа эксперименттер көйгөйлөрдү жаратышы мүмкүн. Чындыгында, суроо-талаптын таасири да кээде Hawthorne таасирин чакырып, талаа эксперименттен алынган мөөнөткө өзгөчө Батыш Электр компаниясынын Hawthorne чыгармаларды боюнча 1924-жылы башталып, белгилүү жарык эксперименттер жатышат (Adair 1984; Levitt and List 2011) . Да, суроо-талаптын таасири жана долоно таасири менен тыгыз 2-бөлүмүндө талкууланган жалкоолук өлчөө идеясы менен байланышкан (ошондой эле Webb et al. (1966) ).

Талаа тажрыйбаларды тарыхы экономика да сыпатталып келатат (Levitt and List 2009) , саясий илим (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , психология (Shadish 2002) , ошондой эле мамлекеттик саясат (Shadish and Cook 2009) . тажрыйбалар тез эле белгилүү болуп калган коомдук илимдин бир тармагы эл аралык өнүктүрүү болуп саналат. Экономика ичинде бул иштин оң кароого көрүп Banerjee and Duflo (2009) , жана сын баа берүү үчүн көргөн Deaton (2010) . Саясий илим бул ишти карап көрүп Humphreys and Weinstein (2009) . Акыр-аягы, талаа тажрыйба менен тартылган этикалык көйгөйлөр саясий илимдер изилденген (Humphreys 2015; Desposato 2016b) иштеп чыгуу жана экономика (Baele 2013) .

Бөлүмдө, мен алдын-ала дарылоо маалымат болжолдуу дарылоо таасирлерин так жакшыртуу үчүн колдонулушу мүмкүн деген божомолдор бар, бирок бул мамиленин кээ бир талаш-тартыш бар: Freedman (2008) , Lin (2013) , жана Berk et al. (2013) ; көрүп Bloniarz et al. (2016) Бул тууралуу көбүрөөк маалымат алыш үчүн.

Жөнөкөй тажрыйбалар ары көчүп (4.4-бөлүм)

Мен үч түшүнүктөрдүн басым тандап алган: мөөнөтүнөн, дарылоо таасиринин кошкондукту жана механизмдер. Бул түшүнүктөр ар түрдүү тармактарында ар кандай аталыштарга ээ. Мисалы, психологдор жана ортомчулардын модераторго басым менен жөнөкөй тажрыйбалар ары көчүп жакын (Baron and Kenny 1986) . Медиаторлордун идея мен механизмдерин атаган басып алды, ал эми модераторго идеясы мен тышкы мөөнөтү деп басып алды (мисалы, ал ар кандай кырдаалда иштей турган болсо, эксперимент натыйжаларын ар башка болот) жана дарылоо таасиринин Микрогетероген ( мисалы, кээ бир адамдардын башка адамдарга караганда) үчүн көп таасирлери.

Боюнча эксперимент Schultz et al. (2007) коомдук теориялар натыйжалуу чараларды иштеп чыгуу үчүн колдонулушу мүмкүн экенин көрсөтүп турат. Натыйжалуу чараларды иштеп чыгуу үчүн теориясынын ролу жөнүндө жалпы талаш үчүн, кара Walton (2014) .

Мөөнөтү (4.4.1-бөлүм)

Ички жана тышкы мөөнөтүнөн түшүнүктөрү биринчи киргизилген Campbell (1957) . Кара Shadish, Cook, and Campbell (2001) бир кыйла толук тарыхы жана статистикалык жыйынтык күчүнүн, ички мөөнөтүнөн кылдат иштеп чыгуу үчүн, негиздүүлүгүн жана тышкы негиздүүлүгүн куруу.

Эксперименттерде статистикалык жыйынтык күчүндө байланышкан маселелерди жалпы көрүп Gerber and Green (2012) (а коомдук, илимий көз карашы үчүн) жана Imbens and Rubin (2015) (статистикалык көз карашы үчүн). Онлайн талаа эксперименттерде атайын пайда статистикалык жыйынтык аракетинин кээ бир маселелер, мисалы, көз каранды маалыматтар менен ишеним түшүшүнүн түзүү боюнча эсептөөлөрдү жүргүзүү натыйжалуу ыкмалары сыяктуу маселелерди камтыйт (Bakshy and Eckles 2013) .

Ички колдонуу татаал талаа эксперименттерде камсыз кылуу үчүн кыйын болушу мүмкүн. Мына, мисал үчүн Gerber and Green (2000) , Imai (2005) , ошондой эле Gerber and Green (2005) добуш берүү жөнүндө татаал талаа эксперимент ишке ашыруу жөнүндө талкуу болот. Kohavi et al. (2012) жана Kohavi et al. (2013) онлайн талаа эксперименттерде аралыгы мөөнөтүнөн кыйынчылыктарга дуушар таанышышат.

ички мөөнөтүнөн менен бир негизги тынчсыздандырган ролдоо менен проблемалар болуп саналат. мүмкүн ролдоо проблемаларын аныктоо үчүн бир жолу күбө жактарына дарылоо жана контролдоо топторду салыштыруу болуп саналат. Салыштыруу мындай балансты текшерүү деп аталат. Көрүп Hansen and Bowers (2008) баланс текшерүү жана көрүү үчүн статистикалык мамиле Mutz and Pemantle (2015) баланс текшерүүлөрдүн жыйынтыктары жөнүндө тынчсызданып үчүн. Мисалы, кандайдыр бир баланс менен текшерүү Allcott (2011) ролдоо кээ бир далил жок деп тапканын туура Opower тажрыйба кээ бир эксперимент үч-жылы ишке ашкан эмес (табл 2; сайттарды 2, 6, 8). Башка ыкмаларды үчүн, кара Imbens and Rubin (2015) , 21-бөлүм.

ички мөөнөтүнөн менен байланышкан башка негизги проблемалар болуп төмөнкүлөр саналат: 1) бир тараптуу дарылоо тобу иш жүзүндө алган ар бир адам жок эмес ылайык, 2) эки эмес сакталышын жактап, дарылоо топтун ар бир адам эмес, дарылоо жана кээ бир алат контролдук топто адамдардын дарыланууга, 3) Юнгдун айтымында, натыйжалар кээ бир катышуучулар, 4) тоскоолдук дарылоо контролдук абалда адамдарды дарылоо абалда адамдардын үстүнөн төктү үчүн ченеди эмес, алышат. Көрүп Gerber and Green (2012) деген китептин 5, 6, 7, жана бул маселелерди ар бир дагы 8.

Construct негиздүүлүгү жөнүндө дагы, көрүп Westen and Rosenthal (2003) , ошондой эле чоң маалымат булактарында, күчүндө Construct боюнча дагы Lazer (2015) жана ушул китептин 2-бөлүмүндө.

Тышкы аракетинин бир бөлүгү бир кийлигишүү текшерилет көрсөткүчү. Allcott (2015) сайт тандоо болбогондугун кылдат теориялык жана эмпирикалык дарылоону камсыз кылат. Бул маселе да талкууланат Deaton (2010) . Көп сайттар көбөйүп жаткан тышкары, Башкы энергетика рапорту кийлигишүүсү да өз алдынча бир нече илимий-изилдөө топтору тарабынан изилденген (мисалы, Ayres, Raseman, and Shih (2013) ).

Дарылоо таасирлерин эместигин (4.4.2-бөлүм)

Талаа эксперименттерде дарылоо таасиринин кошкондукту мыкты жалпы боюнча, 12-бөлүмүн кара Gerber and Green (2012) . Медициналык кыйынчылыктарга дарылоо таасирлерин кошкондукту кириш үчүн, кара Kent and Hayward (2007) , Longford (1999) , жана Kravitz, Duan, and Braslow (2004) . дарылоо таасирлерин эместигин, негизинен алдын-ала дарылоо мүнөздөмөлөрүнүн негизинде ар кандай басым. Сиз кийинки дарылоо жыйынтыгы боюнча кошкондукту кызыкдар болсо, анда алда канча татаал approachs сыяктуу негизги катмарлашуусу катары талап кылынат (Frangakis and Rubin 2002) ; кара Page et al. (2015) бир карап чыгууга.

Көп изилдөөчүлөр түз сызыктуу регрессия менен дарылоо таасиринин эместигин аныктоо, ал эми акыркы ыкмалары машина окууга таянып, мисалы Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , жана Athey and Imbens (2016a) .

Себеби, бир нече салыштыруу көйгөйлөрү жана «балык». Кесепеттерин кошкондукту жыйынтыгы жөнүндө кээ бир скептикалык көз караш бар экендиги бир нече салыштырмалуу жөнүндө дареги тынчсыздануусун жардам берет статистикалык ыкмаларды көп түрдүүлүгү жана ар түрдүүлүгү бар (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . «Балык» тынчсыздануу менен бир ыкма психология сайын жалпы болуп алдын-ала каттоодон болуп саналат (Nosek and Lakens 2014) , саясий илим (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) жана экономика (Olken 2015) .

Изилдөөдө Costa and Kahn (2013) экспериментте чарбаларынын жарымы гана калкынын маалымат менен байланышта болушу алдык. Бул талдоо менен маалымат жана мүмкүн болгон көйгөйлөрдүн кызыккан окурмандардын баштапкы кагаз билдириши керек.

Механизмдер (4.4.3-бөлүм)

Механизмдери өтө маанилүү, бирок алар үчүн абдан оор болуп чыгат. Бири-бири менен тыгыз психология медиаторлордун изилдөөгө байланыштуу механизмдер жөнүндө изилдөө (ошондой эле көрүп VanderWeele (2009) , эки ой ортосунда так салыштыруу үчүн). Бул иштелип чыккан ыкма статистикалык ыкмалар табуу механизмдерин, Baron and Kenny (1986) , кадыресе көрүнүшкө айланды. Тилекке каршы, алардын айрымдары күчтүү божомолдорго көз каранды экен (Bullock, Green, and Ha 2010) бир көп жагдайларга кабылышыбыз мүмкүн жана бир нече механизмдери бар болгондо азап, (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) жана Imai and Yamamoto (2013) кээ бир жакшыртуу үчүн статистикалык ыкмаларды сунуш кылабыз. Андан ары, VanderWeele (2015) Ийкемдүүлүккө талдап комплекстүү мамиле, анын ичинде маанилүү жыйынтыгы, бир нече китеп-узундугу дарылоону сунуш кылат.

Өзүнчө ыкма менен түздөн-түз механизмин (мисалы, берүү кемечилер витамин C) бурмалоого аракет эксперименттердин багытталган. Тилекке каршы, көптөгөн коомдук илимдер орнотуулар учурда бир нече механизмдери бар жана аны башкаларга өзгөртпөстөн туруп бир өзгөртүү дарылоо иштеп чыгуу кыйын. Кээ бир көз караштар тажрыйбалык өзгөртүү механизмдери үчүн сүрөттөлгөн Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ошондой эле Pirlott and MacKinnon (2016) .

Акыр-аягы, механизмдер да атаган эле илимдин табиятын, узак тарыхы бар Hedström and Ylikoski (2010) .

Учурдагы же пландаштырылган колдонуу (Бөлүм 4.5.1.1)

Басмырлоону өлчөө үчүн сырттан изилдөө жана текшерүү изилдөөлөрдү пайдалануу боюнча көбүрөөк көрүп Pager (2007) .

Өз эксперимент куруу (Бөлүм 4.5.1.2)

Эгер куруу тажрыйбаларды катышуучуларды тартуу үчүн жалпы жол Amazon механикалык Turk (MTurk) болуп саналат. элди салттуу лабораториялык тажрыйбаларды-төлөөгө MTurk опокшош аспектилери алар эркин көп изилдөөчүлөр үчүн эмне кыла алмак эмес милдеттерди аткарууга, анткени буга чейин Turkers (MTurk боюнча кызматкерлер) салттуу караганда тез жана арзан маалыматтарды чогултуу, натыйжада адамдарды тажрыйба катышуучулары катары колдонуп баштады боюнча кампуста лабораториялык тажрыйбалар (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk тандалчу катышуучулары менен тажрыйба ири күч-техникалык: алар изилдөөчүлөр катышуучуларын тез жана зарыл тартууга мүмкүнчүлүк берет. лабораториялык эксперимент жүргүзүү жана тажрыйбалар үчүн бир нече жума өтүшү мүмкүн орнотулат ай талап кылынышы мүмкүн, ал эми MTurk тандалчу катышуучулары менен эксперименттер күндүн ичинде ишке ашырылышы мүмкүн. Мисалы, Berinsky, Huber, and Lenz (2012) 8 мүнөт экспериментке катышууга бир күндө 400 сабактарды алуу мүмкүнчүлүгүнө ээ болушту. Андан ары, бул катышуучулары дээрлик бир максатында (анын ичинде изилдөөлөр жана массалык кызматташып, 3-бөлүмдөрүнөн талкууланган жана 5) жумушка болот. Ишке кабыл алуу бул азайтып изилдөөчүлөр Удаа тиешелүү тажрыйбаларды коюуларды чуркай алат дегенди билдирет.

Өз тажрыйба жасоо үчүн MTurk келген катышуучуларды кабыл алуу алдында, билүү үчүн төрт маанилүү нерселер бар. Биринчиден, көптөгөн изилдөөчүлөр Turkers катышуусу менен тажрыйба эмес, белгилүү бир ишенбөөчүлүк бар. Бул шек белгилүү эмес, себеби, ал далилдер менен каршы туруу кыйын. Бирок, Turkers колдонуп изилдөө бир нече жыл өткөндөн кийин, биз азыр бул шек өзгөчө зарыл эмес деп жыйынтык чыгарууга болот. башка калк жыйынтыгында Turkers менен эксперименттердин жыйынтыктарын салыштыруу башка калк жана көптөгөн изилдөөлөр Turkers менен калкконуштары салыштыруу көптөгөн изилдөөлөр бар. Бул ишти эске алып, мен сен жөнүндө ойлонуп үчүн мыкты жолу Turkers көп студенттер, ал эми бир аз ар түрдүү болуп, акылга сыярлык ынгайлуулугу үлгү болуп саналат деп ойлойм (Berinsky, Huber, and Lenz 2012) . Алсак, студенттер бир акылга сыярлык калк эмес, бардык эксперименталдык изилдөө сыяктуу, Turkers акылга сыярлык калктын кээ бир эмес, бардык эле изилдөө болуп саналат. Сиз Turkers менен иш алып бара турган болсо, анда ал бул салыштырма изилдөөлөрдүн көп окуп, алардын маанылүү түшүнүү үчүн мааниси бар.

Экинчиден, изилдөөчүлөр Турк тажрыйба ички жарамдуулугун жогорулатуу боюнча мыкты тажрыйбалар иштелип чыккан, ал эми сен жөнүндө билүүгө жана бул мыкты иштерди керек (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Мисалы, Turkers менен изилдөөчүлөр укпаганы катышуучуларды алып салуу кароочулар колдонууга чакырылабыз (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (ошондой эле көрүп DJ Hauser and Schwarz (2015b) жана DJ Hauser and Schwarz (2015a) ). Сен уктап катышуучулар жок жок болсо, анда ар кандай дарылоо таасири тийсе, катышуучулардын киргизилген ызы-чуу менен жуусун, ал иш жүзүндө мүмкүн укпаганы катышуучуларынын саны бир топ болушу мүмкүн. Huber жана кесиптештеримдин экспериментте (2012) катышуучулардын 30% негизги көңүл кароочулар ишке ашкан жок. Turkers менен жалпы бир маселе эмес ишенчээк катышуучулары (Chandler et al. 2015) .

Үчүнчү, санариптик тажрыйба кээ бир башка түрлөрүнө салыштырмалуу, MTurk эксперименттер жарып мүмкүн эмес; Stewart et al. (2015) ошол учурда MTurk гана 7000дей киши бар экенин көрсөткөн.

Акыры, сиз эч MTurk өз эрежелерин жана ченемдерин менен жамаат экенин билиши керек (Mason and Suri 2012) . Сиз эксперименттер чуркап бара жаткан өлкөнүн маданияты жөнүндө билиш үчүн аракет кылат, ошол эле жол менен, сиз Turkers маданият жана ченемдери тууралуу көбүрөөк билүү үчүн аракет кылышы керек (Salehi et al. 2015) . Жана сиз Turkers сиз туура же туура эмес бир нерсе болсо, эксперимент жөнүндө сөз боло турганын билиши керек (Gray et al. 2016) .

MTurk сиздин тажрыйбаларды катышуучуларды тартуу үчүн өтө ыңгайлуу жолу болуп саналат, алар сыяктуу лаборатория сыяктуу, же жокпу, Huber, Hill, and Lenz (2012) , же андан көп талаа сыяктуу, мисалы Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , жана Mao et al. (2016) .

Өз продуктусун куруу (Бөлүм 4.5.1.3)

Эгер өз жаратууга аракет кылып ойлоп жаткан болсо, анда мен сага MovieLens тобу тарабынан сунуш пикирин окуп сунуш Harper and Konstan (2015) . алар менен болгон окуядан эмнени негизги түшүнүк ар бир ийгиликтүү долбоор үчүн көп, көбү аткарылган жок. Мисалы, MovieLens тобу сыяктуу толугу менен майнап чыккан жок GopherAnswers башка продуктыларды ишке киргизди (Harper and Konstan 2015) . продукту курууга аракет албай илимий дагы бир мисалы Эдуард Castronova анын Арден деп онлайн оюн куруу аракети болуп саналат. 250,000 $ карабастан, каржылоо, долбоор Flop болгон (Baker 2008) . GopherAnswers жана Арден сыяктуу долбоор, тилекке каршы MovieLens сыяктуу долбоорлорду караганда алда канча көп болуп саналат. Акыр-аягы, мен өзүм кайра эксперимент ийгиликтүү өнүмдөрдү куруп башка изилдөөчүлөрдүн билген эмес деп бул жерде менин критерийлери мындай деди: 1) катышуучулардын, анткени ал аларды камсыз кандай пайдалануу (мисалы, алар төлөгөн эмес, алар жок ыктыярдуу илимди жардам берүү) жана 2) продукт бирден ашык колдонулуп келет так экспериментте (башкача айтканда, жок эле эксперимент башка катышуучусу бассейндер менен бир нече жолу). башка мисалдардын билген болсо, сураныч, мага кабарлагыла.

Күчтүү менен өнөктөш (4.5.2-бөлүм)

Мен технологиялык компаниялар боюнча көп талкууга Пастер анын Quadrant идеясын уктум, ал Google изилдөө иш-аракеттерин уюштуруу жардам берет (Spector, Norvig, and Petrov 2012) .

Байланыш жана жолдошторунун изилдөө (2012) , ошондой эле аларды кабыл алгандардын достор бул дарылоо таасирин аныктоо үчүн аракет кылышат. Себеби эксперимент долбоорлоонун, бул spillovers өскөндөн аныктоо кыйын; кызыкдар окурмандар көрүшү керек Bond et al. (2012) бир кыйла кылдат талкуулоо үчүн. Бул эксперимент добуш бекемдөө үчүн күч-саясий илим тажрыйба көп салттардын бир бөлүгү болуп саналат (Green and Gerber 2015) . Бул кечеден чыгып-добуш эксперименттер алар Пастер анын Quadrant улам бөлүгүндө кездешет. Башкача айтканда, добуш берүү, добуш берүүнүн бар көбөйтүүгө түрткү болуп, көптөгөн адамдардын жүрүм-турумун өзгөртүүгө жана коомдук таасир этүү жөнүндө жалпы теориясын сыноо үчүн кызыктуу жүрүм-туруму болот.

Башка изилдөөчүлөр талаа эксперименттер мисалы, саясий партиялардын, ошондой эле өнөктөш уюмдар менен иштеп жөнүндө сунуштарын берген, бейөкмөт уюмдардын, ошондой эле бизнестин (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Башка уюмдар менен өнөктөштүк изилдөө долбоорлорду кандай таасир берери тууралуу сунуштап жатышат (Green, Calfano, and Aronow 2014; King et al. 2007) . Шериктештик, ошондой эле этикалык маселелер алып келиши мүмкүн (Humphreys 2015; Nickerson and Hyde 2016) .

Дизайн сунуштар (4.6-бөлүм)

Эгер эксперимент чуркап алдында талдоо планын түзүүгө бара турган болсо, анда мен сага отчеттук колдонмолорду окуп баштайт деп ойлойм. Консот колдонмолору (бириктирилген Standard сыноолор отчеттуулугу) дары-жылы иштелип чыккан (Schulz et al. 2010) Жана коомдук изилдөө үчүн барак (Mayo-Wilson et al. 2013) . Колдонмолору бир тектеш комплекси Эксперименталдык саясый илимдер журналынын редакторлору тарабынан иштелип чыккан (Gerber et al. 2014) (Ошондой эле Mutz and Pemantle (2015) жана Gerber et al. (2015) ). Акыр-аягы, отчеттук жоболор психология боюнча иштелип чыккан (Group 2008) , ошондой эле көрүп Simmons, Nelson, and Simonsohn (2011) .

Сиз талдоо планын түзүп, анда алдын-ала каттоо башкалардын жыйынтыгы болгон ишенимин жогорулатуу, анткени, аны алдын-ала каттоодон эске алышы керек. Андан кийин эгерде, сиз өнөктөштөрү менен иштеп жаткан болсо, анда ал жыйынтыгын көргөндөн кийин талдоо өзгөртүү үчүн бир өнөктөш менен чектелип калат. Алдын-ала каттоо психология сайын жалпы болуп баратат (Nosek and Lakens 2014) , саясий илим (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , жана экономика (Olken 2015) .

Алдын-ала талдоо планын түзүү сиз кээ бир изилдөөчүлөр да бааланган дарылоо таасири так жакшыртуу үчүн артка кетүү жана тиешелүү ыкмаларды колдоно билиши керек жана бул мамиле жөнүндө кээ бир талаш-тартыштар бар, ал эми: Freedman (2008) , Lin (2013) , жана Berk et al. (2013) ; көрүп Bloniarz et al. (2016) Бул тууралуу көбүрөөк маалымат алыш үчүн.

Онлайн талаа тажрыйба жасоо үчүн атайын дизайн сунуштар, ошондой эле келтирилген Konstan and Chen (2007) жана Chen and Konstan (2015) .

Нөл өзгөрмө чыгымдар маалыматтарды түзүү (4.6.1-бөлүм)

MusicLab эксперименттердин дагы, көрүп Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , жана Salganik (2007) . Лауреаты-алып-базарларда боюнча көп көрүп, Frank and Cook (1996) . Жалпы untangling ийгилик жана чеберчилик боюнча дагы, көрүп Mauboussin (2012) , Watts (2012) , жана Frank (2016) .

аскерге: изилдөөчүлөр менен абайлап колдонуу керек катышуучусу төлөмдөрдү жоюу үчүн дагы бир ыкма бар. көп онлайн талаа эксперименттерде катышуучулары негизинен тажрыйбаларды эске иштелип жатат жана эч качан толуктаган. Бул ыкманын мисалдар Restivo жана Van де Rijt анын кирет (2012) Wikipedia жана бири-бири менен сыйлоо жана кесиптешинин боюнча эксперимент (2012) добуш берүү үчүн адамдарды колдоо боюнча эксперимент. Бул эксперимент чындап нөл өзгөрмө чыгымын да жок, алар изилдөөчүлөр үчүн нөлдүк өзгөрмө баасы бар. Мындай эксперименттердин көп наркы ар бир катышуучунун абдан аз болсо да, аз чыгымдар катышуучуларынын зор саны тез эле кошо аласыз жүктөлгөн. массалык онлайн эксперименттер чуркап изилдөөчүлөр көбүнчө көп адамдарга карата бул кичинекей натыйжалары маанилүү болуп калышы мүмкүн экенин айтып, аз бааланган дарылоо таасиринин маанисин актайт. так эле ой жүгүртүү изилдөөчүлөр катышуучуларынын жүктөгөн чыгымдар тиешелүү. Сиздин эксперименттер бир мүнөтүн текке миллион себеп болсо, эксперимент конкреттүү бир адам үчүн өтө зыяндуу эмес, чогуу убакыт дээрлик эки жыл текке кеткен жок.

Катышуучуларына нөл өзгөрмө чыгымдар төлөп түзүү үчүн дагы бир ыкма лотерея, ошондой эле сурамжылоо изилдөөдө колдонулган бир ыкма колдонуу (Halpern et al. 2011) . Акыр-аягы, долбоорлоого тууралуу көбүрөөк үчүн жагымдуу колдонуучу окуяларды көрүп Toomim et al. (2011) .

Алмаштыруу тазала жана кыскартуу (4.6.2-бөлүм)

Бул жерде үч Р түп аныктамасы, тартып Russell and Burch (1959) :

«Алмаштыруу башынча материалдык билишпейт жашоо жогорку жаныбарлар үчүн айырбаштоону билдирет. Азайтуу боюнча бир өлчөмдө жана тактык маалыматтарды алуу үчүн колдонулган жаныбарлардын саны азайгандыгын билдирет. Байытуу дагы колдонулушу керек жаныбарлардын карата адамгерчиликке жатпаган жол менен ооругандардын же иштеги ар кандай азайганын билдирет. «

Мен 6-бөлүмдө айтылгандай, этикалык эрежелерин этибарга эмес, сунуш үч R Тескерисинче, алар адам тажрыйба жөндөө үчүн ошол негиздери-кам-конкреттүү бир топ иштелип версия бири болуп саналат.

Emotional дуушарлануу карап жатканда, бул эксперимент чечмелеп качан эстен чыгарбоо үчүн үч эмес этикалык маселелер да бар. Биринчиден, бул эксперимент жүзүндө маалымат теориялык доо туташа кандай так эмес; Башкача айтканда курулушу күчүндө тууралуу суроолор бар. Бул оң жана терс сөз эсеби иш жүзүндө катышуучулардын кызуу мамлекеттин жакшы көрсөткүч болуп саналат, анткени: 1) бул адамдар пост сөздөрү өздөрүнүн сезимдерине бир жакшы көрсөткүч экенин так эмес экендиги айдан ачык эмес, жана 2) ошол так эмес изилдөөчүлөр колдонулган өзгөчө маанай талдоо ыкмасы ишенимдүү сезимдерин тыянак алат (Beasley and Mason 2015; Panger 2016) . Башкача айтканда, бир жактуу белги бир жаман чарасы бар болушу мүмкүн. Экинчиден, тажрыйба-конструктордук жана талдоо бизди ким жөнүндө эч нерсе таасир (мисалы, дарылоо таасирин кошкондукту эч кандай анализ жок) жана механизм болушу мүмкүн экенин айтат. бул учурда, изилдөөчүлөр катышуучулардын тууралуу маалыматты көп эле болду, бирок алар олуттуу талдоо жана жасалгалар мамиле. Үчүнчүдөн, бул экспериментте таасир өлчөмү өтө аз эле болгон; дарылоо жана контролдоо шарттардын ортосундагы айырмачылык болсо 1000 айтканда 1 болуп саналат. алардын кагазга, Крамер жана кесиптештери жүздөгөн миллион адамдар, алардын Маалымат күн сайын поток кирүү, анткени бул өлчөмү таасир маанилүү ишти кылат. Башка сөз менен айтканда, алар чогуу алганда чоң болуп, ар бир адам үчүн кичине болсо да таасирин деп ырасташат. Эгер бул аргумент кабыл болсо да, бул дагы өлчөмү таасир жан өтөрү тууралуу көбүрөөк жалпы илимий суроого байланыштуу маанилүү болсо, анда ачык-айкын эмес. Кичинекей таасири маанилүү жагдайлар боюнча көп көрүп Prentice and Miller (1992) .

Биринчи Р (алмаштыруу) боюнча Emotional Дуушарлануу эксперимент салыштыруу (Kramer, Guillory, and Hancock 2014) жана психикалык дуушарлануу табигый эксперимент (Coviello et al. 2014) Өтүү менен байланышкан соода-маалымат төгүндөлдү тууралуу кээ бир жалпы нерсеге үйрөнө алабыз табигый тажрыйбаларды эксперименттер (жана азык-эксперименталдык маалыматтар боюнча эксперименттерди болжол менен бул аракет дал келген сыяктуу башка ыкмаларды, 2 л = мд = караъыз). этикалык пайда тышкары, азык-эксперименталдык изилдөөлөрдүн үчүн эксперименттик өтүү, ошондой эле, алар техникалык жактан жайгаштыруу албаган дарылоонун изилдеп изилдөөчүлөр берет. Этикалык жана материалдык пайдалары Бирок, чыгымдарды. табигый тажрыйбалар менен изилдөөчүлөр катышуучулары, ролдоо жалдоо сыяктуу нерсеге аз көзөмөл бар, дарылоо жана мүнөзү. Мисалы, бир мамиле катары жаан-бир чектөө ал да жумушка жогорулатат жана терс азайып баратат. эксперименталдык изилдөө, бирок, Крамер жана кесиптештери жумушка жана терс өз алдынча өзгөртүп алышкан.

Тарабынан пайдаланылуучу өзгөчө мамиле Coviello et al. (2014) ары-жылы иштелип чыкты Coviello, Fowler, and Franceschetti (2014) . Аспаптык өзгөрүүлөр үчүн киргизүү боюнча көрүп Angrist and Pischke (2009) (анча расмий эмес) же Angrist, Imbens, and Rubin (1996) (дагы расмий). Аспаптык өзгөрмөлөр скептикалык баа көрүп Deaton (2010) , жана алсыз аспаптар (жамгыр алсыз аспап) менен себепчи өзгөрмөлөр менен киргизүү үчүн, кара Murray (2006) .

Жалпылап айтканда, табигый тажрыйбаларды жакшы киргизүү Dunning (2012) , жана Rosenbaum (2002) , Rosenbaum (2009) , ошондой эле Shadish, Cook, and Campbell (2001) тажрыйба жок себеп кесепеттерин аныктоо жөнүндө жакшы идеяларын сунуш.

экинчи R (багытын) көз карашы боюнча билдирүүлөрүн өнүктүрүш үчүн билдирүү коюусуна Emotional дуушарлануу дизайнын өзгөртүүгө эске алуу менен илимий жана материалдык-техникалык жактан соода-эс алуу жок. Мисалы, ал иши поток техникалык ишке ашыруу билдирүүлөрүн бөгөт коюу менен эксперимент билдирүүлөрүн өнүктүрүш менен эксперимент ордуна билдирүүлөрүн бөгөт коюу менен эксперимент үчүн кыйла кыйын болуп саналат (экенин эске турган катмар катары жүзөгө ашырылышы мүмкүн болушу мүмкүн негизги системасына өзгөртүүлөрдү) эч кандай зарылчылыгы жок поток системасынын жогорку. Илимий, бирок, эксперимент аркылуу кайрылган теориясы так башка бир үлгүсүн сунуш эмес.

Тилекке каршы, мен поток мазмунду бөгөт коюу жана жакшыртууга жетишкендиги жөнүндө олуттуу чейин изилдөө менен тааныш эмес. Ошондой эле, мен аларды азыраак зыяндуу үчүн дарылоо тазалап жөнүндө көп изилдөө көргөн жокмун; бир өзгөчөлүгү болуп саналат Jones and Feamster (2015) , Internet канайдыр бир өлчөө деп эсептейт (I Encore изилдөө мамиледе 6-бөлүмдө талкууланат тема (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Үчүнчү R (азайтуу) боюнча, салттуу күч талдоо үчүн жакшы киргизүү Cohen (1988) . Алдын-ала дарылоо covariates долбоорлоо стадиясында жана тажрыйбаларды талдоо этабында киргизилиши мүмкүн; 4-бөлүмүн Gerber and Green (2012) да жакындаган жакшы киргизүүнү камсыз кылат, жана Casella (2008) бир кыйла кылдат мамиле менен камсыз кылат. ролдоо бул алдын-ала дарылоо маалыматты колдонуу ыкмалары адатта же тажрыйбалык долбоорлорду же търънд тажрыйба үлгүлөрүн (терминология коомчулуктар аркылуу ырааттуу колдонулган эмес) бөгөт деп аталат; бул техникалар аябай 3. бөлүм талкууланат търънд үлгү алуу ыкмаларын See байланыштуу Higgins, Sävje, and Sekhon (2016) массалык эксперименттерде бул долбоорлорду пайдалануу боюнча көп. Алдын-ала дарылоо covariates да талдоо стадиясында киргизилиши мүмкүн. McKenzie (2012) толугу менен талаа эксперименттерди талдоо үчүн айырма-жылы ар кандай ыкма менен таанышуу максатында келип кетти. Кара Carneiro, Lee, and Wilhelm (2016) дарылоо таасиринин баа так жогорулатуу үчүн ар түрдүү ыкмаларды ортосундагы соода-чегеръъ боюнча дагы. Акыр-аягы, дизайн же талдоо этапта (же) боюнча алдын-ала дарылоо covariates киргизүүгө аракет чечим, карап чыгууга бир нече себептер бар. Изилдөөчүлөр, алар, «балык» эмес экенибизди кантип көрсөтөбүз каалаган жагдайда (Humphreys, Sierra, and Windt 2013) , долбоорлоо стадиясында алдын-ала дарылоо covariates колдонуу пайдалуу болушу мүмкүн (Higgins, Sävje, and Sekhon 2016) . Катышуучулары катары, өзгөчө онлайн тажрыйбалар келип, долбоорлоо стадиясында алдын-ала дарылоо маалыматты пайдалануу менен техникалык жактан кыйын болушу мүмкүн жагдайларда, мисалы, көрүп Xie and Aurisset (2016) .

Бул айырма-жылы ар кандай айырма-жылы аркылуу алда канча натыйжалуу болот эмне үчүн бир сезим бир аз кошуп кетүү керек. Көп онлайн натыйжалар өтө бийик дисперсияны бар (кара, мисалы, Lewis and Rao (2015) жана Lamb et al. (2015) ) Жана убакыттын өтүшү менен салыштырмалуу туруктуу. бул учурда, өзгөртүү эсеби статистикалык сыноо күчүн жогорулатуу, бир кыйла аз дисперсияны ээ болот. Бул көп колдонулган эмес, жанына бир себеби санарип дооруна чейин алдын-ала дарылоо натыйжаларга ээ болгон жалпы жок эле. ал жөнүндө ойлонууга бир дагы конкреттүү жолу белгилүү бир көнүгүү күнүмдүк салмак жоготууга себеп болот же жокпу, өлчөө үчүн мындай бир эксперимент элестетип турат. бир айырма-жылы аркылуу мамиле кыла турган болсо, анда баа калктын салмагынын өзгөрүлүшүнө келген өзгөрмөлүүлүгүнө ээ болот. бир айырма-жылы айырма мамиле кыла турган болсо, бирок, бул, албетте, салмагынын өзгөрүү болгон жок жана дагы башка дарылоо улам айырмачылыкты аныктоо болот алат.

Сиздин эксперимент катышкандардын санын азайтуу үчүн бир маанилүү жолу Кремер жана кесиптештер менен табигый эксперименттен да байкалган таасир өлчөмү негизинде кылып турган электр талдоо жүргүзүү болуп саналат Coviello et al. (2014) , же мурда эмес эксперименталдык изилдөө менен Кремер (2012) (чындыгында бул бул бөлүмдүн аягында иш). электр талдоо бул пайдалануу мүнөздүү караганда ар бир аз экенин байкайсыз. аналогдук доордо, изилдөөчүлөр көбүнчө электр талдоо алардын изилдөө экенине ынануу үчүн кылган өтө аз (б.а., астында-кубаттуу) болгон эмес. Азыр болсо, изилдөөчүлөр электр талдоо алардын изилдөө өтө чоң (б.а., үстүнөн-кубаттуу) эмес экенин болуш үчүн, эмне кылышыбыз керек.

Акыр-аягы, мен төртүнчү R кошуп эсептелет: Repurpose. Ошол изилдөөчүлөр алардын баштапкы изилдөө маселени чечүү үчүн керек да эксперименттик маалыматтар менен таба турган болсок, анда алар жаңы суроолорду берүүгө маалыматтарды repurpose керек болот. Мисалы үчүн, аларды изилдөө, маселени чечүү үчүн зарыл болгон караганда Крамер жана кесиптештери айырма-жылы-айырмачылыктарды багалаушы колдонулат жана маалыматтар менен тапкан деп ойлошот. Тескерисинче, толук көлөмдө маалыматтарды колдонуп жок, алар жан сөздөрдү дарылоо-алдын ала турган иш катары күчүнө көлөмүн изилдеп мүмкүн. Эле Schultz et al. (2007) дарылоо таасири жеңил жана оор пайдалануучулар үчүн ар кандай болгон, балким, Жанылыктар таасири буга чейин бактылуу (же кайгылуу) билдирүүлөрдү жазыш үчүн кылышкан адамдар үчүн ар түрдүү болгон эмес. «Балык» алып келиши мүмкүн Repurposing (Humphreys, Sierra, and Windt 2013) жана «б-атакалар» (Simmons, Nelson, and Simonsohn 2011) , бирок бул негизинен чынчыл отчеттук айкалышындагы addressable жатышат (Simmons, Nelson, and Simonsohn 2011) , алдын-ала каттоо (Humphreys, Sierra, and Windt 2013) , жана-куп качууга аракет машина үйрөнүү ыкмалары.