кийинки окуу эмне үчүн

• Introduction (бөлүк 4.1)

коомдук изилдөөлөр менен казуалдуулук тууралуу суроолор көп учурда татаал жана татаал болуп саналат. Себеп схемалардын негизинде себептер үчүн негизги мамиле үчүн, кара Pearl (2009) , ошондой эле мүмкүн болуучу жыйынтыгы боюнча негизги кайрылуу үчүн, көрүп Imbens and Rubin (2015) . Бул эки ыкма арасында салыштыруу жасоо үчүн, кара Morgan and Winship (2014) . Бир confounder аныктоо үчүн расмий кайрылуу үчүн, кара VanderWeele and Shpitser (2013) .

Бул бөлүмдө, мен эксперименталдык эмес жана эксперимент маалыматтар себеп баа берүү жөндөмдүүлүгүнө ортосунда жаркыраган сызык болуп көрүнгөн жараткан. Бирок, чындыгында, деп ойлойм, айырмачылык бозомук. Мисалы, ар бир адам тамеки эч кандай клиникалык изилдөөлөр качан тамеки адамдарды мажбурлайт эксперимент жасалып да, рак пайда деп кабыл алат. Эмес эксперименталдык маалыматтар себеп баа берүүлөрүн эске алуу менен жакшы китеп узундугу дарылоо үчүн көрө Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , жана Dunning (2012) .

Китебинин 1, 2- Freedman, Pisani, and Purves (2007) эксперимент, башкарса боло турган тажрыйба ортосундагы айырмачылыкты айкын киргизүүнү сунуш жана Эксперимент клиникалык изилдөөлөр.

Manzi (2012) клиникалык изилдөөлөр тажрыйба таанымдык жана статистикалык түркүгү үчүн кызыктуу жана окула турган киргизүүнү камсыз кылат. Ал эле эмес, бизнесте да эксперимент бийликтин кызыктуу мисалдар менен камсыз кылууда. Issenberg (2012) саясий өнөктүктөргө экспериментин пайдалануу үчүн кызыктуу киргизүүнү камсыз кылат.

• Эксперименттер деген эмне? (4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008 жана Athey and Imbens (2016b) эксперименттик долбоорлоо жана талдоо статистикалык аспектилерине жакшы сөз баштаганды камсыз кылат. Андан сырткары, ал жерде ар түрдүү тармактарда тажрыйбаларды пайдалануу сонун дарылоо ыкмалары болуп төмөнкүлөр саналат: Экономика (Bardsley et al. 2009) , Мусулмандын (Willer and Walker 2007; Jackson and Cox 2013) , психология (Aronson et al. 1989) , Саясий илим (Morton and Williams 2010) , жана коомдук саясат (Glennerster and Takavarasha 2013) .

катышуучусу жумушка мааниси (мисалы, тандамалуу), адатта, эксперименталдык изилдөө боюнча-ыраазы болуп саналат. Бирок дарылоо таасири калктын гетерогендик болсо, анда, андан үлгү алуу абдан маанилүү болуп саналат. Longford (1999) , ал туш келди ылгап алуу менен калкты сурамжылоо сыяктуу эксперименттердин ойлонуп изилдөөчүлөр үчүн жактаганы айкын ушул ойду берет.

• Эксперименттердин эки өлчөмдөрү: Лаборатория-талаа жана аналогдук-санариптик (бөлүк 4.3)

Мен лабораториялык жана талаа эксперимент ортосунда үзгүлтүксүз бар экенин, жана башка изилдөөчүлөр толук жолдоруна сунуштаган, өзгөчө адамдар талаа тажрыйбаларды ар кандай түрлөрүн бөлүп сунуш кылышат (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Бюллетендеринин саны тезистин лабораториялык жана талаа эксперименттер салыштырышкан (Falk and Heckman 2009; Cialdini 2009) жана саясий илимдин белгилүү эксперименттердин натыйжалары боюнча (Coppock and Green 2015) , экономика (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , жана психология (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) лабораториялык жана талаа эксперименттердин жыйынтыктарын салыштыруу үчүн жагымдуу изилдөө долбоорду сунуштайт. Parigi, Santana, and Cook (2017) онлайн тажрыйбалар лабораториялык жана талаа тажрыйбаларды кээ бир өзгөчөлүктөрүн аралаштыра мүмкүн экенин айтууда.

Алар бири-бири менен тыгыз кээде суроо-талаптын таасири деп байкалып жатканын билип, алардын жүрүм-турумун өзгөртүүгө катышуучуларынын маселеси, себеби, алар психология изилденди (Orne 1962) жана экономика (Zizzo 2010) . негизинен лабораториялык тажрыйбаларды менен байланыштуу болсо да, ошол эле маселелер, ошондой эле кабар айтуу эксперимент үчүн көйгөйлөргө алып келиши мүмкүн. Чындыгында, суроо-талаптын таасири да кээде Hawthorne таасирлери, Батыш Электр компаниясынын Hawthorne чыгармаларды боюнча 1924-жылы башталган, белгилүү жарык тажрыйба алса мөөнөтүн деп аталат (Adair 1984; Levitt and List 2011) . Эки суроо-талаптын таасири жана Hawthorne таасири менен тыгыз 2-бөлүмүндө талкууланат жалкоолук өлчөө идеясы менен байланышкан (ошондой эле Webb et al. (1966) ).

Талаа эксперименттер экономика боюнча узун тарыхы бар (Levitt and List 2009) , саясий илим (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , психология (Shadish 2002) , жана коомдук саясат (Shadish and Cook 2009) . тажрыйбалар тез эле белгилүү болуп калды Коомдук илимдер бир аймак эл аралык өнүктүрүү болуп саналат. Экономика ичинде ишине оң кароого көрүп Banerjee and Duflo (2009) , жана сын баа берүү үчүн көргөн Deaton (2010) . Саясий илимдер Бул ишти карап көрүп Humphreys and Weinstein (2009) . Акыр-аягы, талаа эксперименттердин чыккан этикалык кыйынчылыктар саясий илим контекстинде изилденген (Humphreys 2015; Desposato 2016b) иштеп чыгуу жана экономика (Baele 2013) .

Бул бөлүмдө, Мен алдын-ала дарылоо маалымат эсептик дарылоо таасирин так жакшыртуу үчүн колдонулушу мүмкүн деп кооптонушат, бирок бул мамиленин кээ бир талаш-тартыш бар; Эмне көрүүгү Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , жана Bloniarz et al. (2016) Көбүрөөк маалымат алыш үчүн.

Акыр-аягы, лабораториялык-талаа өлчөмү бирге жарашыктуу туура эмес, бул эки коомдук илимпоздор жасаган эксперименттеринин башка түрлөрү бар: изилдөө, тажрыйба жана коомдук эксперименттер. Survey эксперименттер жаткан изилдөөлөрдүн материалдык-техникалык базасы менен эксперимент болуп саналат, ошол эле маселелер боюнча башка котормолорунда жоопторду салыштырып (кээ бир сурамжылоо эксперименттер 3-бөлүмдө берилген); сурамжылоо эксперименттердин дагы көрө Mutz (2011) . Коомдук эксперименттер дарылоо гана өкмөт тарабынан ишке ашырыла турган кээ бир коомдук саясат жерде эксперименттер бар. Коомдук эксперименттер тыгыз баа программасын байланышкан. Саясат эксперименттердин көбүрөөк көрүп Heckman and Smith (1995) , Orr (1998) , жана @ glennerster_running_2013.

• Жөнөкөй тажрыйбалар ары илгерилеп (бөлүк 4.4)

Мен үч түшүнүктөрдүн бурууга тандап алган: күчүнүн, дарылоо таасирин кошкондукту жана механизмдер. Бул түшүнүктөр ар түрдүү тармактарында ар кандай аталыштарга ээ. Мисалы, психолог жана ортомчулардын модераторго басым жөнөкөй тажрыйбалар тышкары аргасыз болушат (Baron and Kenny 1986) . Медиаторлордун идея мен механизмдерин атаган басып алды, ал эми модераторго идеясы мен тышкы мөөнөтү атаган басып жатат (мисалы, ар кандай кырдаалда иштей турган болсо, эксперименттин натыйжасы башкача болмок) жана дарылоо таасирин эместигин ( мисалы, кээ бир адамдар башкаларга караганда) үчүн көп таасирлери.

Боюнча эксперимент Schultz et al. (2007) коомдук теориялар натыйжалуу чараларды иштеп чыгуу үчүн колдонулушу мүмкүн экенин көрсөтүп турат. Натыйжалуу чараларды иштеп чыгуу үчүн теориясынын ролу тууралуу жалпы талаш үчүн, кара Walton (2014) .

• Мөөнөтү (бөлүм 4.4.1)

Ички жана тышкы мөөнөтүнөн түшүнүктөрү биринчи киргизилген Campbell (1957) . Кара Shadish, Cook, and Campbell (2001) бир кыйла толук тарыхы жана статистикалык жыйынтык күчүнүн, ички мөөнөтүнөн кылдат иштеп чыгуу үчүн, негиздүүлүгүн жана тышкы негиздүүлүгүн куруу.

Эксперименттерде статистикалык жыйынтык аракетинин байланышкан маселелерди жалпы Анткени көрүп Gerber and Green (2012) (а коомдук илимдер жактан) жана Imbens and Rubin (2015) (статистикалык жактан). Онлайн талаа эксперименттерде атайын пайда статистикалык жыйынтык аракетинин кээ бир маселелер, мисалы, көз каранды маалыматтар менен ишеним араларды түзүү үчүн эсептөө натыйжалуу ыкмалары сыяктуу маселелерди камтыйт (Bakshy and Eckles 2013) .

Ички колдонуу татаал талаа эксперименттерде камсыз кылуу үчүн кыйын болушу мүмкүн. Мисал үчүн, кара Gerber and Green (2000) , Imai (2005) , ошондой эле Gerber and Green (2005) добуш берүү жөнүндө татаал талаа эксперимент ишке ашыруу тууралуу талкуу үчүн. Kohavi et al. (2012) жана Kohavi et al. (2013) онлайн талаа эксперименттерде аралыгы мөөнөтүнөн кыйынчылыктарга дуушар таанышышат.

ички күчүнүн бир негизги коркунуч жок ролдоо мүмкүнчүлүгү болуп саналат. ролдоо менен маселелерди аныктоо үчүн бир болуучу жолу байкалбаган кемчиликтери жөнүндө дарылоо жана контролдоо топторду салыштыруу. Салыштырмалуу бул түрү балансты текшерүү деп аталат. Кара Hansen and Bowers (2008) текшерүүдөн жана баланс үчүн статистикалык мамиле Mutz and Pemantle (2015) баланс текшерүүлөрдүн жыйынтыктары жөнүндө маселелери боюнча. Мисалы, балансты текшерүү аркылуу, Allcott (2011) ролдоо туура Opower эксперименттердин үч ишке эмес, бир нече далил тапкан эмес (Жадыбалды көрүү 2; сайттарды 2, 6, 8). Башка ыкмаларды үчүн, 21-бөлүмүн карагыла Imbens and Rubin (2015) .

ички күчүнүн менен байланышкан башка негизги проблемалар болуп төмөнкүлөр саналат: (1) бир жактуу сактабагандык дарылоо топтун иш жүзүндө дарыланган ар бир адам эмес, (2), эки тараптуу сакталбагандыгы, дарылоо топтун ар бир адам эмес, дарылоо жана кээ бир кишилер менен кабыл алган башкаруу тобу дарыланууга, (3) Юнгдун айтымында, натыйжалар кээ бир катышуучулар, жана (4) тоскоолдуктарды дарылоо контролдук абалда адамдарды дарылоо абалда адамдардан БАКТЫ үчүн ченеди эмес, кабыл алуу. Китебинин 5, 6, 7, 8-бөлүмдөрүн карагыла Gerber and Green (2012) , бул маселелерди ар бир маселе боюнча көп.

Курган колдонуу тууралуу көбүрөөк көрүп Westen and Rosenthal (2003) , жана курууга колдонуу чоң маалымат булактарында, көбүрөөк үчүн Lazer (2015) жана ушул китептин 2-бөлүмүндө.

тышкы аракетинин бир бөлүгү бир кийлигишүү сыналып жаткан көрсөткүчү. Allcott (2015) сайт тандоо болбогондугун кылдат теориялык жана эмпирикалык дарылоону камсыз кылат. Бул маселе да талкууга алынат Deaton (2010) . тышкы мөөнөтүнөн дагы бир өзгөчөлүгү бир кийлигишүү альтернатива operationalizations окшош таасир болуп бере алабы?. Бул учурда, ортосунда салыштыруу Schultz et al. (2007) жана Allcott (2011) Opower эксперимент Schultz жана кесиптештери (1,7% 5% га) баштапкы тажрыйба караганда аз бааланган мамиле таасир тийгизгени көрсөтүлөт. Allcott (2011) массалык-өндүрүлгөн бир бөлүгү катары басма смайлик салыштырмалуу жогорку окуу демөөрчүлүгү менен бир изилдөөлөрүнүн бир бөлүгү катары, өз колу менен коюлган колдун смайлик: кийинки тажрыйба, анткени, тазалоо алар кандай жолдор менен бир аз таасир эткен айырмаланган деп эсептешет электр компаниясынын отчет.

• Дарылоо таасирин эместигин (бөлүм 4.4.2)

Талаа эксперименттерде дарылоо таасирин гетерогендүүлүк сонун жалпы Анткени, 12-бөлүмүн карагыла Gerber and Green (2012) . Медициналык кыйынчылыктарга дарылоо таасирлерин кошкондукту кириш үчүн, кара Kent and Hayward (2007) , Longford (1999) , жана Kravitz, Duan, and Braslow (2004) . дарылоо таасирин кошкондукту кароонун негизинен алдын-ала дарылоо мүнөздөмөлөрдүн негизинде айырмачылыктарга басым. Сиз кийинки дарылоо жыйынтыгы боюнча кошкондукту кызыкдар болсо, анда андан татаал, ыкмалар, мисалы, негизги катмарлашуусу сыяктуу, зарыл (Frangakis and Rubin 2002) ; кара Page et al. (2015) кайра кароо.

Көп изилдөөчүлөр түз сызыктуу регрессиялык колдонуп дарылоо таасирлер эместигин эсептеп, бирок башка ыкмалар машина окууга таянуу; мисал үчүн, кара Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , жана Athey and Imbens (2016a) .

Себеби, бир нече салыштыруу көйгөйлөрү жана "балык". Таасирин кошкондукту жыйынтыгы жөнүндө бир скептикалык көз караш бар экендиги бир нече салыштырмалуу жөнүндө дареги тынчсыздануусун жардам берет статистикалык ыкмаларды көп түрдүүлүгү жана ар түрдүүлүгү бар (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Балык" жөнүндө тынчсызданып бир ыкма психология көбүрөөк таралган болуп алдын-ала каттоо болуп саналат (Nosek and Lakens 2014) , саясий илим (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) жана экономика (Olken 2015) .

Тарабынан изилдөө-жылы Costa and Kahn (2013) экспериментте чарбаларынын жарымы гана Элдик маалымат менен байланышта болушу мүмкүн. Бул маалымат таламдаш Окурмандардын баштапкы кагаз билдириши керек.

• Механизмдери (бөлүм 4.4.3)

Механизмдери өтө маанилүү, бирок алар үчүн абдан оор болуп чыгат. Механизмдери жөнүндө изилдөөлөр менен тыгыз психология медиаторлордун изилдөөгө байланыштуу (ошондой эле көрүп VanderWeele (2009) , эки ой ортосунда так салыштыруу үчүн). Мисалы, иштелип чыккан ыкманын эле статистикалык ыкмалар табуу механизмдерин, Baron and Kenny (1986) , бир топ эле кадыресе көрүнүш болуп саналат. Тилекке каршы, ал жол-жоболор бир нече күчтүү божомолдорго көз каранды болуп калат (Bullock, Green, and Ha 2010) көп жагдайда мүмкүн деп, бир нече механизмдери бар болгондо жана азап (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) жана Imai and Yamamoto (2013) айрым жакшыртуу үчүн статистикалык ыкмаларды сунуш кылабыз. Андан ары, VanderWeele (2015) Ийкемдүүлүккө талдап комплекстүү мамиле жасоону, анын ичинде маанилүү жыйынтыгы боюнча, бир нече китеп-узундугу дарылоону сунуш кылат.

Өзүнчө ыкма менен түздөн-түз механизмин (мисалы, берүү кемечилер витамин C) бурмалоого аракет эксперименттердин багытталган. Тилекке каршы, көптөгөн коомдук илимдер орнотуулар менен, көп учурда бир нече механизмдери бар жана ал, башкаларга өзгөртпөстөн туруп бир өзгөртүү дарылоо иштеп чыгуу кыйын. Айрым мамилелер боюнча тажрыйбалык өзгөртүү механизмдери менен сүрөттөлгөн Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ошондой эле Pirlott and MacKinnon (2016) .

толугу менен өндүрүш эксперименттер чуркап Изилдөөчүлөр бир нече гипотеза сыноо кызыкдар болушу зарыл; көрүп Fink, McConnell, and Vollmer (2014) жана List, Shaikh, and Xu (2016) Көбүрөөк маалымат алыш үчүн.

Акыр-аягы, механизмдер, ошондой эле жазылгандай, илимий ой-жылы узак тарыхка ээ Hedström and Ylikoski (2010) .

• Учурдагы шарттарга колдонуу (бөлүм 4.5.1)

Сырттан изилдөө жана аудитордук изилдөөлөр колдонууга көбүрөөк басмырлоону өлчөө үчүн, кара Pager (2007) .

• Өз эксперимент Build (бөлүм 4.5.2)

Эгер куруу эксперимент катышуучуларды тартууга таралган жолу Amazon механикалык Турк (MTurk) болуп саналат. элди салттуу лабораториялык тажрыйбаларды-төлөөгө MTurk опокшош аспектилери алар эркин көптөгөн изилдөөчүлөр үчүн эмес, милдеттерди аткарууга Анткени, мүмкүн эмес эле тез жана арзан маалыматтарды чогултуу, натыйжада, эксперименталдык катышуучу катары Turkers (MTurk жумушчулар) колдонуу менен баштады боюнча иш-аракеттерин көзмөлдөө, лабораториялык тажрыйбалар салттуу (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Жалпысынан алганда, MTurk тандалчу катышуучуларын колдонуу ири артыкчылыктары материалдык-техникалык жактан камсыз болушат. лабораториялык эксперимент жүргүзүү жана тажрыйбалар үчүн бир нече жума өтүшү мүмкүн өйдө-коюуга ай талап кылынышы мүмкүн, ал эми, MTurk тандалчу катышуучулары менен эксперименттер күндүн ичинде ишке ашырылышы мүмкүн. Мисалы, Berinsky, Huber, and Lenz (2012) 8 Мүнөт экспериментке катышуу үчүн бир күндө 400 сабактарды алуу мүмкүнчүлүгүнө ээ болушту. Андан тышкары, бул катышуучулары дээрлик ар кандай максатта (анын ичинде жүргүзүлгөн сурамжылоонун жана массалык кызматташып китебинин 3 жана 5 талкууланган) боюнча ишке ашырылышы мүмкүн. жумушка Бул тынчтыктын изилдөөчүлөр токтоосуз түрдө тийиштүү эксперименттердин ырааттуулугун чуркай алат дегенди билдирет.

Өз эксперименттердин үчүн MTurk келген катышуучуларды тартуу мурун, билип алыш керек болгон төрт маанилүү нерселер бар. Биринчиден, көптөгөн изилдөөчүлөр Turkers катышуусу менен тажрыйба менчиктин ишенбөөчүлүк бар. Бул шек белгилүү гана эмес, ал далилдер менен каршы туруу кыйын. Бирок, Turkers колдонуп изилдөө бир нече жыл өткөндөн кийин, биз азыр бул шек өзгөчө негиздүү эмес деген жыйынтык чыгарууга болот. Turkers менен эксперименттердин жыйынтыктарын салыштыруу башка калк жана көптөгөн изилдөөлөр менен бирге Turkers боюнча калкконуштары салыштыруу көптөгөн изилдөөлөр жүргөн жок башка калк арасынан билгиси. Бул ишти эске алып, мен сен жөнүндө ойлонуп үчүн мыкты жолу Turkers көп студенттер, бирок бир аз ар түрдүү болуп, акылга сыярлык жалпыга үлгү болуп саналат деп ойлойм (Berinsky, Huber, and Lenz 2012) . Ошентип, бир эле окуучулар үчүн акылга сыярлык калк сыяктуу эле, бирок баары эмес, илимий-изилдөө, Turkers кээ бир акылга сыярлык калкы бар, бирок баары эмес, изилдөө. Сиз Turkers менен иш алып барып жатабыз, анда бул салыштырма изилдөөлөрдүн көпчүлүгү окушту жана нюанстарды түшүнүү үчүн мааниси бар.

Экинчиден, изилдөөчүлөр MTurk эксперименттердин ички негиздүүлүгүн жогорулатуу боюнча мыкты тажрыйбалар иштелип чыккан, бирок сиз жөнүндө билүүгө жана бул мыкты иштерди керек (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Мисалы, изилдөөчүлөр Turkers укпаганы катышуучуларды алып кароочулар колдонууга чакырылабыз колдонуу (Berinsky, Margolis, and Sances 2014, 2016) (ошондой эле көрүп DJ Hauser and Schwarz (2015b) жана DJ Hauser and Schwarz (2015a) ). Эгер укпаганы катышуучулар жок жок болсо, анда ар кандай дарылоо таасир алар киргизет деп ызы-чуу менен жуусун, ал иш жүзүндө мүмкүн укпаганы катышуучуларынын саны олуттуу болушу мүмкүн. Huber жана кесиптештер менен экспериментте (2012) , катышуучулардын 30% негизги көңүл кароочулар ишке ашкан жок. Turkers колдонулган учурларда, адатта, пайда башка көйгөйлөр эмес ишенчээк катышуучулары (Chandler et al. 2015) жана Юнгдун (Zhou and Fishbach 2016) .

Үчүнчүдөн, санариптик тажрыйба кээ бир башка түрлөрүнө салыштырмалуу, MTurk эксперименттер жарып мүмкүн эмес; Stewart et al. (2015) кайсы убакта MTurk гана 7000дей киши бар баа.

Акыр-аягы, сиз MTurk өз эрежелери жана ченемдери менен жамаат экенин билиши керек (Mason and Suri 2012) . Сиз эксперименттер чуркап бара жаткан өлкөнүн маданияты жөнүндө билиш үчүн аракет кыларын Ошол сыяктуу эле, силер Turkers маданияты жана ченемдери тууралуу көбүрөөк билүү үчүн аракет кылышы керек (Salehi et al. 2015) . Сен Turkers сиз туура же туура эмес бир нерсе болсо, эксперимент жөнүндө сөз боло турганын билиши керек (Gray et al. 2016) .

MTurk, алар, мисалы, ошол эле лаборатория-окшоп, жокпу, сиздин тажрыйбаларды катышуучуларды тартуу үчүн өтө ыңгайлуу жолу болуп саналат Huber, Hill, and Lenz (2012) , же болбосо мындай адамдар сыяктуу талаа сыяктуу, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , жана Mao et al. (2016) .

• Өз өндүрүмүн Build (бөлүм 4.5.3)

Эгер өз жаратууга аракет кылып ойлоп жаткан болсо, анда мен сага MovieLens тобу тарабынан сунуш пикирин окуп сунуштайбыз Harper and Konstan (2015) . алар менен болгон окуядан эмнени негизги түшүнүккө ар бир ийгиликтүү долбоор үчүн көп, көбү аткарылган жок. Мисалы, MovieLens тобу толугу менен майнап чыккан жок деп, башка өнүмдөрдү мындай GopherAnswers болуп, ишке (Harper and Konstan 2015) . продукту курууга аракет албай илимий дагы бир мисалы Эдуард Castronova анын Арден деп аталган интернет оюн куруу аракети болуп саналат. 250,000 $ карабастан, каржылоо, долбоор Flop болгон (Baker 2008) . GopherAnswers жана Арден сыяктуу долбоор, тилекке каршы MovieLens сыяктуу долбоорлорду ишке ашыруу алда канча көп кездешет.

• Күчтүү менен шерик (бөлүм 4.5.4)

Мен жогорку технологиялуу ишканаларда көп талкууга Пастер анын Quadrant идеясын уктум, ал Google изилдөө аракеттерин уюштурууга жардам берет (Spector, Norvig, and Petrov 2012) .

Бонд жана Кесиптештердин изилдөө (2012) , ошондой эле аларды кабыл алгандардын достор бул дарылоо таасирин аныктоо үчүн аракет кылат. Себеби эксперимент долбоорлоо, бул spillovers өскөндөн аныктоо кыйын; кызыкдар окурмандар көрүшү керек Bond et al. (2012) бир кыйла кылдат талкуулоо үчүн. Жонс жана кесиптештери (2017) , ошондой эле 2012-жылдын, шайлоо учурунда абдан окшош тажрыйба жүргүзөт. Бул эксперимент добуш бекемдөө үчүн күч-саясий илим тажрыйба көп салттардын бир бөлүгү болуп саналат (Green and Gerber 2015) . Бул жеткирилип чыгып-добуш эксперименттер алар Пастер анын Quadrant улам жарым-жартылай эле кадыресе көрүнүш болуп саналат. Башкача айтканда, добуш берүү жана добуш бар көбөйтүүгө түрткү болуп, көптөгөн адамдар жүрүм-турумду өзгөртүү жана коомдук таасир этүү жөнүндө жалпы теориясын сынаш үчүн кызыктуу кыймыл-аракет болушу мүмкүн.

Талаа эксперименттер өнөктөш уюмдар, мисалы, саясий партиялардын менен чуркап жөнүндө сунуштарды алуу үчүн, бейөкмөт уюмдар жана бизнес, көрүп Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ошондой эле Gueron (2002) . Уюмдар менен өнөктөштүк изилдөө долбоорлор кандай таасир берери тууралуу ой-пикирлерине, көрүп King et al. (2007) жана Green, Calfano, and Aronow (2014) . Өнөктөштүк тарабынан талкууланган, ошондой эле, Этикалык суроолордун алып келиши мүмкүн Humphreys (2015) жана Nickerson and Hyde (2016) .

• Дизайн кенеш (бөлүк 4.6)

Эгер эксперимент иштеп алдында талдоо планын түзө турган болсо, анда мен сага отчеттук колдонмолорду окуп баштайт деп ойлойм. Консот колдонмолору (бириктирилген Стандарттык сыноолор отчеттуулугу) дары-жылы иштелип чыккан (Schulz et al. 2010) Жана коомдук изилдөө үчүн барак (Mayo-Wilson et al. 2013) . Колдонмолору менен байланышкан комплекси Эксперименталдык саясый илимдер журналынын редакторлору тарабынан иштелип чыккан (Gerber et al. 2014) (Ошондой эле Mutz and Pemantle (2015) жана Gerber et al. (2015) ). Акыр-аягы, отчеттук жоболор психология иштелип чыккан (APA Working Group 2008) , ошондой эле көрүп Simmons, Nelson, and Simonsohn (2011) .

Эгер анализ планын түзө турган болсок, анда алдын-ала каттоо башкалардын жыйынтыгы болгон ишенимин жогорулатуу, анткени, аны алдын-ала каттоодон эске алышы керек. Андан кийин эгерде, сиз өнөктөштөрү менен иштеп жаткан болсо, анда ал жыйынтыгын көргөндөн кийин талдоо өзгөртүү үчүн конокторубуздун чектелип калат. Алдын-ала каттоо психология көбүрөөк таралган болуп баратат (Nosek and Lakens 2014) , саясий илим (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , жана экономика (Olken 2015) .

Онлайн талаа тажрыйба жасоо үчүн атайын долбоор да берилген Konstan and Chen (2007) жана Chen and Konstan (2015) .

Мен Армада стратегиясын деп аташып, кээде программалык изилдөө деп аталат; көрүп Wilson, Aronson, and Carlsmith (2010) .

• Нөл өзгөрмө чыгымдар маалыматтарды түзүү (бөлүм 4.6.1)

MusicLab эксперименттердин көбүрөөк көрүп Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , жана Salganik (2007) . Лауреаты-алып-базарларда тууралуу көбүрөөк көрүп, Frank and Cook (1996) . Жалпысынан untangling Бөлүнүп тапкычтыгы тууралуу көбүрөөк көрүп Mauboussin (2012) , Watts (2012) жана Frank (2016) .

аскерге: изилдөөчүлөр менен абайлап колдонуу керек катышуучусу төлөмдөрдү жоюу үчүн дагы бир ыкма бар. көп онлайн талаа эксперименттердин катышуучулары негизинен эксперименттердин долбоору даярдалат жана эч качан толуктаган. Бул ыкманын мисалдары Restivo жана де Rijt анын кирет (2012) Wikipedia жана Bond сыйлыктарды жана кесиптешинин боюнча эксперимент (2012) добуш берүү үчүн адамдарды колдоо боюнча эксперимент. Бул эксперимент чынында эле, тескерисинче, арзан нөл өзгөрмө бар, алар изилдөөчүлөр үчүн нөлдүк өзгөрмө наркын жок. Мындай эксперименттердин, ар бир катышуучуга наркы абдан аз болсо да, жалпы баасы кыйла көп болушу мүмкүн. массалык онлайн эксперименттер чуркап Изилдөөчүлөр көп учурда көптөгөн адамдарга карата колдонулган бул кичинекей таасири маанилүү болуп калышы мүмкүн экенин айтып, аз бааланган дарылоо таасиринин маанисин актайт. бир эле ой жүгүртүү изилдөөчүлөр катышуучулардын жүктөй чыгымдар тиешелүү. Сиздин эксперимент бир мүнөтүн текке бир миллион адам себеп болсо, эксперимент белгилүү бир адам үчүн өтө зыяндуу эмес, ал эми чогуу алгандагы мезгил дээрлик эки жыл текке кетти.

Катышуучуларына нөл өзгөрмө чыгымдар төлөп түзүү үчүн дагы бир ыкма лотерея, ошондой эле сурамжылоо изилдөөлөрдө колдонулган бир ыкма болуп саналат (Halpern et al. 2011) . Жагымдуу колдонуучу тажрыйба иштеп чыгуу тууралуу көбүрөөк көрүп Toomim et al. (2011) . Нөл өзгөрмө чыгымдар эксперименттер көрүп түзүү ботторду колдонуу тууралуу көбүрөөк үчүн ( ??? ) .

• Алмаштыруу тазала жана кыскартуу (4.6.2-бөлүм)

Үч R катары башында тарабынан сунушталган Russell and Burch (1959) болуп төмөнкүлөр саналат:

«Алмаштыруу башынча материалдык билишпейт жашоо жогорку жаныбарлар үчүн айырбаштоону билдирет. Азайтуу боюнча бир өлчөмдө жана тактык маалыматтарды алуу үчүн колдонулган жаныбарлардын саны азайгандыгын билдирет. Байытуу дагы колдонулушу керек жаныбарлардын карата адамгерчиликке жатпаган жол менен ооругандардын же иштеги ар кандай азайганын билдирет. «

Мен 6-бөлүмдө айтылгандай, этикалык эрежелерин этибарга эмес, сунуш үч R Тескерисинче, алар адам тажрыйба жагдайда ошол негиздери-кам-конкреттүү бир топ иштелип версия бири болуп саналат.

Биринчи Р ( "алмаштыруу") жагынан, психикалык дуушарлануу эксперимент салыштыруу (Kramer, Guillory, and Hancock 2014) жана психикалык дуушарлануу табигый эксперимент (Lorenzo Coviello et al. 2014) Катышкан соода-маалымат төгүндөлдү тууралуу кээ бир жалпы сабактарды сунуш кылат табигый тажрыйбаларды эксперименттердин кыймылдаса (жана башка ыкмаларды эмес эксперименталдык маалыматтар боюнча тажрыйба болжол менен бул аракет дал келген сыяктуу эле, 2-бөлүмүн карагыла). этикалык пайдадан тышкары, азык-эксперименталдык изилдөөлөрдүн үчүн эксперименттик өтүү, ошондой эле, алар техникалык жактан жайгаштыра албай турган дарылоо изилдеп изилдөөчүлөр берет. Бул этикалык жана материалдык пайдалары Бирок, наркы боюнча келет. табигый эксперименттердин менен изилдөөчүлөр катышуучулары, ролдоо жалдоо сыяктуу нерсеге аз көзөмөл бар, дарылоо жана мүнөзү. Мисалы, бир мамиле катары жаан-бир чектөө ал да жумушка жогорулатат жана терс азайып баратат. эксперименттик изилдөө Бирок Крамер жана кесиптештери жумушка жана терс өз алдынча жөнгө салуу үчүн алдык. Колдонулган өзгөчө мамиле Lorenzo Coviello et al. (2014) андан ары тарабынан иштелип чыккан L. Coviello, Fowler, and Franceschetti (2014) . Тарабынан колдонулган ыкма болуп саналат себепчи өзгөрмөлөр үчүн киргизүү үчүн Lorenzo Coviello et al. (2014) , кара Angrist and Pischke (2009) (анча расмий эмес) же Angrist, Imbens, and Rubin (1996) (дагы расмий). Аспаптык өзгөрмөлөр скептикалык баа үчүн, кара Deaton (2010) , жана алсыз инструменттер (жамгыр алсыз аспап) менен себепчи өзгөрүлмөлүүлөр менен киргизүү, көрүп Murray (2006) . Жалпылап айтканда, табигый тажрыйбаларды жакшы киргизүү менен берилет Dunning (2012) , ал эми Rosenbaum (2002) , ( ??? ) , жана Shadish, Cook, and Campbell (2001) эксперименттердин эч себеп кесепеттерин аныктоо жөнүндө жакшы идеяларын сунуш.

Экинчи R ( "тартип") көз карашы боюнча билдирүү көбөйтүлүшү үчүн билдирүү коюусуна Emotional дуушарлануу дизайнын өзгөртүүгө эске алуу менен, илимий жана материалдык-техникалык жактан соода-эс алуу жок. Мисалы, ал билдирүүлөр жабылуусуна байланыштуу бир эксперимент ишке мүмкүн экенин (кетүү Маалымат поток техникалык ишке ашыруу билдирүүлөр, алар туткан диним турган бир эмес, тосуп турган бир эксперимент кыла кыйла оъой кылган иши болушу мүмкүн негизги системасына өзгөртүүлөрдү киргизүү үчүн эч кандай зарылдыгы жок поток системасынын үстүнө бир катмар) болгон. Илимий, бирок, эксперимент аркылуу кайрылган теориясы так башка бир үлгүсүн сунуш эмес. Тилекке каршы, мен поток мазмунду бөгөт коюу жана жакшыртууга жетишкендиги жөнүндө олуттуу алдын ала изилдөө менен тааныш эмес. Ошондой эле, мен аларды азыраак зыяндуу үчүн дарылоо тарбиялоо тууралуу көп изилдөөлөрдү көргөн жокмун; бир өзгөчө болуп саналат B. Jones and Feamster (2015) , Интернет канайдыр бир өлчөө деп эсептейт (I Encore изилдөөгө мамиледе 6-бөлүмдө талкууланат тема (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Үчүнчү R ( "төмөндөтүү") жагынан, салттуу күч талдоо жакшы киргизүү менен берилет Cohen (1988) (китеп) жана Cohen (1992) (макала), ал эми Gelman and Carlin (2014) бир аз башкача көз караш менен сунуштайбыз. Алдын-ала дарылоо covariates тажрыйба-конструктордук жана талдоо стадиясында киргизилиши мүмкүн; 4-бөлүмүн Gerber and Green (2012) сыяктуу ыкмалар жакшы киргизүүнү камсыз кылат, жана Casella (2008) бир кыйла кылдат мамиле кылуу каралган. ролдоо бул алдын-ала дарылоо маалыматты колдонуу ыкмасы, адатта, же сынамык долбоорлорду же търънд сынамык долбоору (терминология жамааттардын боюнча ырааттуу колдонулган эмес) бөгөттөлгөн деп аталат; бул техникалар менен тыгыз 3. бөлүмүн карагыла талкууланган търънд өлчөөлөрдү жүргүзүү менен байланышкан Higgins, Sävje, and Sekhon (2016) массалык эксперименттерде бул долбоорлорду пайдалануу боюнча көп. Алдын-ала дарылоо covariates да талдоо стадиясында киргизилиши мүмкүн. McKenzie (2012) майда-чүйдөсүнө чейин талаа эксперименттерди талдоо үчүн айырма-жылы ар башка ыкма менен таанышуу максатында келип кетти. Кара Carneiro, Lee, and Wilhelm (2016) дарылоо таасиринин баа так жогорулатуу үчүн ар түрдүү ыкмаларды ортосундагы соода-чегеръъ боюнча дагы. Акыр-аягы, дизайн же талдоо стадиясында (же экөө тең) чейинки дарылоо covariates киргизүүгө аракет чечим карап бир нече себептер бар. Изилдөөчүлөр, алар, "балык" эмес экенибизди кантип көрсөтөбүз келет болгон шартта (Humphreys, Sierra, and Windt 2013) , долбоорлоо стадиясында алдын-ала дарылоо covariates колдонуу пайдалуу болушу мүмкүн (Higgins, Sävje, and Sekhon 2016) . Катышуучулар ырааттуу, айрыкча, онлайн талаа эксперименттер келип, долбоорлоо стадиясында алдын-ала дарылоо маалыматтарды пайдалануу менен техникалык жактан кыйын болушу мүмкүн кырдаалдарда; мисал үчүн, көрүп Xie and Aurisset (2016) .

Бул эмне үчүн айырма-жылы ар башка мамиле жөнүндө бир сезим бир аз кошуп айырма-жылы-билдирет бири алда канча натыйжалуу болот кетүү зарыл. Көптөгөн онлайн натыйжалар өтө жогору дисперсияны бар (кара, мисалы, RA Lewis and Rao (2015) жана Lamb et al. (2015) ) Жана убакыттын өтүшү менен салыштырмалуу туруктуу. Бул учурда, өзгөрүү көздөн статистикалык сыноо күчүн жогорулатуу, азырак дисперсияны ээ болот. Бул ыкма көп колдонулган эмес, бир себеби санариптик жашка чейин, ал алдын-ала дарылоонун натыйжалары үчүн жалпы болгон эмес деп эсептелет. бул жөнүндө ойлонууга бир дагы конкреттүү жолу белгилүү бир көнүгүү күнүмдүк салмак жоготууга себеп болот, жокпу, өлчөө үчүн мындай бир эксперимент элестетип турат. Сиз айырма-жылы аркылуу мамилени кабыл алуу болсо, баа калктын салмагынын өзгөрүлүшүнө чыккан өзгөрмөлүүлүгүнө ээ болот. Сиз айырма-жылы ар башка мамиле кыла турган болсо, ал, ал табигый салмагынын өзгөрүү болгон жок, ал эми, дагы башка дарылоо менен шартталган айырмачылыкты аныктоо болот.

Акыр-аягы, мен төртүнчү R кошуп карап: "repurpose". Бул изилдөөчүлөр аларды изилдөө бул маселени чечүү үчүн зарыл ашык эксперименталдык маалыматтар менен таба турган болсок, анда, алар жаңы суроолорду берүүгө маалыматтарды repurpose керек болот. Мисалы, Крамер жана кесиптештери айырма-жылы-айырмачылыктарды багалаушы колдонгон деп ойлошот жана алар изилдөө маселени чечүү үчүн көбүрөөк маалыматтар менен табылган. Тескерисинче, толук көлөмдө маалыматтарды колдонуп жок, алар алдын-ала дарылоо сезимдерин билдирүү милдети деп күчүнө көлөмүн изилдеп алмак. Эле Schultz et al. (2007) дарылоо таасири жеңил жана оор пайдалануучулар үчүн ар кандай болгон, балким, Жанылыктар таасири буга чейин бактылуу (же кайгылуу) билдирүүлөрдү пост аракет кылышкан адамдар үчүн ар түрдүү болгон эмес. "Балык" алып келиши мүмкүн Repurposing (Humphreys, Sierra, and Windt 2013) жана "б-атакалар" (Simmons, Nelson, and Simonsohn 2011) , бирок бул негизинен чынчыл отчеттук айкалышындагы addressable жатышат (Simmons, Nelson, and Simonsohn 2011) , алдын-ала каттоо (Humphreys, Sierra, and Windt 2013) , жана-татыктуу качууга аракет машина үйрөнүү ыкмалары.