Одан әрі түсініктеме

Бұл аударма компьютерде құрылды. ×

You are reading the Open Review Edition of Bit by Bit. Click here to read the 1st Edition.

Одан әрі түсініктеме

Бұл бөлім баяндау ретінде оқылуы тиіс емес, сілтеме ретінде пайдаланылуы үшін арналған.

Кіріспе (бөлім 4.1)

әлеуметтік зерттеулер бойынша себепті байланысы туралы сұрақтар жиі күрделі және күрделі болып табылады. Себеп-салдарлық графиктер негізінде себептері үшін негіз көзқарас, қараңыз Pearl (2009) , сондай-ақ әлеуетті қорытындысы негізінде негіз көзқарас, қараңыз Imbens and Rubin (2015) (және осы тарауда техникалық қосымшаны). Осы екі тәсілдерді арасындағы Салыстыру үшін, қараңыз Morgan and Winship (2014) . Бір confounder анықтау үшін ресми көзқарас, қараңыз VanderWeele and Shpitser (2013) .

тарауда мен эксперименттік және емес эксперимент деректерінен себеп-салдарлық сметасын жасауға біздің қабілеті арасындағы жарқын желісі сияқты көрінген құрылды. Шындығында, мен айырмашылық бұлыңғырлық деп ойлаймын. Мысалы, әркім шегу біз адам темекі шегуге мәжбүр Рандомизирленген бақыланатын эксперимент жасадық ешқашан тіпті қатерлі ісігіне шалдықтырады деп қабылдайды. Емес-эксперименттік деректерден себептік бағалауларды тамаша кітап ұзындығы емдеу үшін қараңыз Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , сондай-ақ Dunning (2012) .

Тарауларын 1 және 2 Freedman, Pisani, and Purves (2007) эксперименттер, бақыланатын эксперименттер және рандомизацияланған бақылаулы эксперименттер арасындағы айырмашылықтары айқын енгізу ұсынамыз.

Manzi (2012) рандомизацияланған бақылаулы эксперименттер философиялық және статистикалық негіздері ішіне қызықты және оқылатын енгізуді қамтамасыз етеді. Ол сондай-ақ бизнесте эксперименттер қуатын қызықты нақты әлемнің мысалдарын қамтиды.

Эксперименттер қандай? (Бөлім 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) эксперименттік жобалау және талдаудың статистикалық аспектілері жақсы кіріспе қамтамасыз етеді. Экономика: Әрі қарай, көптеген әр түрлі салаларда эксперименттер пайдалану тамаша емдеу бар (Bardsley et al. 2009) , әлеуметтану (Willer and Walker 2007; Jackson and Cox 2013) , психология (Aronson et al. 1989) , саясаттану (Morton and Williams 2010) , сондай-ақ әлеуметтік саясат (Glennerster and Takavarasha 2013) .

қатысушысы жалдау (мысалы, таңдама) маңыздылығы жанындағы-жоғары бағалады эксперименттік зерттеулер жиі болып табылады. Емдеу әсері халықтың гетерогенді болып Алайда, егер, онда дискреттеу. Аса маңызды болып табылады Longford (1999) , ол кездейсоқ сынамасын іріктеу халықтың сауалнама ретінде эксперимент ойлау зерттеушілер үшін қолдайды кезде анық, осы нүктені құрайды.

Эксперименттер екі өлшемдері: зертханалық-далалық және аналогты-сандық (бөлім 4.3)

Мен зертханалық және далалық эксперименттер арасындағы ұсынылған дихотомия сәл оңайлатылған болып табылады. Шын мәнінде, басқа да зерттеушілер далалық эксперименттер түрлі формаларын бөліп, əсіресе, егжей-тегжейлі типологиясы ұсындым (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Әрі қарай, зертханалық және далалық дихотомия ішіне ұқыпты сай емес әлеуметтік ғалымдар орындауындағы эксперименттер екі басқа түрлері бар:. Сауалнама эксперименттер және әлеуметтік эксперименттер Survey эксперименттер қолданыстағы сауалнама инфрақұрылымын пайдалана отырып, эксперименттер болып табылады және балама нұсқаларын жауап салыстыру сол сұрақтар (кейбір зерттеу эксперименттер 3-тарауында келтірілген); Сауалнама эксперименттер туралы толығырақ қараңыз Mutz (2011) . емдеу тек мемлекет тарапынан жүзеге асырылуы мүмкін кейбір әлеуметтік саясат болып табылады, онда әлеуметтік эксперименттер эксперименттер болып табылады. Әлеуметтік эксперименттер бағдарламасын бағалау тығыз байланысты болып табылады. Саясаты эксперименттер туралы қосымша алу үшін, қараңыз Orr (1998) , Glennerster and Takavarasha (2013) , сондай-ақ Heckman and Smith (1995) .

Бірқатар жұмыстарды, бағзы зертханалық және далалық эксперименттер салыстырғанда қойды (Falk and Heckman 2009; Cialdini 2009) және саясаттану нақты тәжірибелер нәтижелерін тұрғысынан (Coppock and Green 2015) , экономика (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) және психология (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) зертханалық және далалық эксперименттер нәтижелерін салыстыру үшін жақсы ғылыми-зерттеу жобалау ұсынады.

Олар тығыз сақталады білеміз, өйткені, олардың мінез-құлқын өзгерту қатысушылар туралы мəселелер кейде сұраныс әсерлер деп аталады, және олар психология зерделенді (Orne 1962) және экономика (Zizzo 2009) . негізінен зертханалық эксперименттер байланысты болғанымен, осы мәселелер, сондай-ақ далалық тәжірибелер үшін мәселелер тудыруы мүмкін. Шын мәнінде, сұраныс әсерлер, сондай-ақ, кейде дала эксперимент, Батыс Electric компаниясының Hawthorne зауытында жұмыс 1924 жылы басталды арнайы атақты жарықтандыру эксперименттер шыққан термин, Hawthorne салдарын аталады (Adair 1984; Levitt and List 2011) . Екі сұраныс әсерлер және Долана әсерлер тығыз (сондай-ақ, қараңыз, 2-тарауда талқыланды реактивті өлшеу идеясына байланысты Webb et al. (1966) ).

Далалық эксперименттер тарихы экономика сипатталған болатын (Levitt and List 2009) , саясаттану (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , психология (Shadish 2002) , сондай-ақ мемлекеттік саясат (Shadish and Cook 2009) . далалық эксперименттер тез көрнекті болды қоғамтану бірі ауданы халықаралық дамыту болып табылады. Экономика аясындағы бұл жұмысына оң қарау үшін қараңыз Banerjee and Duflo (2009) , сондай-ақ сыни бағалау үшін қараңыз Deaton (2010) . Саясаттану Бұл жұмыстың қарау үшін қараңыз Humphreys and Weinstein (2009) . Соңында, далалық эксперименттер айналысатын этикалық проблемалар саясаттану барланған (Humphreys 2015; Desposato 2016b) және дамыту экономика (Baele 2013) .

Тарауда мен алдын-ала емдеу ақпараттық сметалық емдеу дәлдігін арттыру үшін пайдалануға болады деп ұсынды, бірақ бұл тәсіл туралы кейбір пікір-сайыс бар: Freedman (2008) , Lin (2013) , сондай-ақ Berk et al. (2013) ; қараңыз Bloniarz et al. (2016) қосымша ақпарат алу үшін.

Қарапайым эксперименттер (бөлім 4.4) шегінен тыс жылжыту

қолданылу, емдеу гетерогенді, мен механизмдері: Мен үш ұғымдардың баса назар таңдадыңыз. Бұл ұғымдар әртүрлі салаларда түрлі атаулары бар. Мысалы, психологтар медиаторлар мен модераторлар назар аудара отырып, қарапайым тәжірибелер тыс жылжыту бейім (Baron and Kenny 1986) . Медиаторлар идеясы Мен тетіктері атаймыз басып алынады, және модератор идеясы Мен сыртқы қолданылу (ол әр түрлі жағдайларда іске болса, мысалы, эксперимент нәтижелері басқаша болар еді) және емдеу әсерлер гетерогенді (атаймыз басып алынады мысалы, басқа адамдарға қарағанда кейбір адамдар үшін әсерлер үлкен) болып табылады.

Эксперимент Schultz et al. (2007) тиімді шараларды жоспарлауға қолдануға болады қалай әлеуметтік теориялар көрсетеді. Тиімді араласу жобалау теориясы рөлі туралы көбірек жалпы дәлел үшін, қараңыз Walton (2014) .

Қолданылу мерзімі (бөлім 4.4.1)

Ішкі және сыртқы қолданылу ұғымдар алғашқы енгізілді Campbell (1957) . Қараңыз Shadish, Cook, and Campbell (2001) егжей-тегжейлі тарихы және статистикалық қорытынды қолданылу, ішкі қолданылу, жарамдылығын салу, сондай-ақ сыртқы қолданылу мұқият әзірлеу.

Эксперименттер статистикалық қорытынды қолданылу байланысты мәселелерді шолу үшін қараңыз Gerber and Green (2012) (әлеуметтік ғылым тұрғысынан үшін) және Imbens and Rubin (2015) (статистикалық перспективада үшін). Онлайн далалық тәжірибелерде арнайы туындайтын статистикалық қорытынды қолданылу кейбір мәселелері осындай тәуелді деректермен сенім аралықтарын құру үшін есептеу тиімді әдістерін мәселелерді қамтиды (Bakshy and Eckles 2013) .

Ішкі қолданылу кешенді далалық тәжірибелерде қамтамасыз ету қиын болуы мүмкін. Мысалы, қараңыз Gerber and Green (2000) , Imai (2005) , сондай-ақ Gerber and Green (2005) дауыс беру туралы кешенді далалық эксперимент жүзеге асыру туралы пікірталастар үшін. Kohavi et al. (2012) және Kohavi et al. (2013) Онлайн далалық тәжірибе интервал қолданылу қатерлеріне ішіне енгізу қамтамасыз етеді.

ішкі қолданылу Бір ірі алаңдаушылық рандомизации проблемалар болып табылады. ықтимал рандомизации проблемалар анықтау үшін бір жолы бақыланатын жақтарына емдеу және бақылау топтарын салыстыру болып табылады. Салыстырғанда бұл түрі бір теңгерімді тексеру деп аталады. Қараңыз Hansen and Bowers (2008) тексерулерді тепе-статистикалық көзқарас, сондай-ақ қараңыз Mutz and Pemantle (2015) балансы тексерулер алаңдаушылық үшін. Мысалы, балансты тексеру пайдаланып Allcott (2011) рандомизацияны OPower эксперименттер (; сайттар 2, 6, 8 және 2 кестені қараңыз) кейбір тәжірибелер үш дұрыс іске асырылған жоқ, кейбір дәлелдер бар екенін тапты. Басқа тәсілдерін, қараңыз Imbens and Rubin (2015) , 21-тарауды.

ішкі қолданылу қатысты басқа да негізгі проблема болып табылады: 2) екі емдеу тобында емес әркім емдеу және кейбір алады сақтамау, жақты емдеу тобында емес әркім шын мәнінде емделді 1) бір жақты сақтамау, бақылау тобында адам емдеу нәтижелері кейбір қатысушылары үшін өлшенеді емес, 3) потертость, және емдеу бақылау жағдайында адамдарға емдеу жағдайында адамдардың астам төгілуін 4) кедергілер алуға. Қараңыз Gerber and Green (2012) осы мәселелер әрбір туралы қосымша үшін олар тараулар 5, 6, 7, 8 және.

Конструкция қолданылу туралы қосымша алу үшін, қараңыз Westen and Rosenthal (2003) үлкен деректер көздеріне, және конструкция қолданылу туралы толығырақ Lazer (2015) және осы кітаптың 2-тарау.

Сыртқы қолданылу бір қыры ретінде араласуы тексеріледі параметр болып табылады. Allcott (2015) сайт таңдау Биас мұқият теориялық және эмпирикалық емдеу қамтамасыз етеді. Бұл мәселе, сондай-ақ талқыланды Deaton (2010) . Көптеген сайттарда қайталануы қатар, Home Energy есеп, сондай-ақ дербес араласуы бірнеше ғылыми-зерттеу топтарының (мысалы, бойынша зерттелді Ayres, Raseman, and Shih (2013) ).

Емдеу (бөлім 4.4.2) Гетерогенді

Далалық тәжірибелерде емдеу гетерогенді тамаша шолу үшін, оның 12-тарау қараңыз Gerber and Green (2012) . Медициналық зерттеулерде емдеу әсерлер еместігінен енгізу үшін, қараңыз Kent and Hayward (2007) , Longford (1999) , сондай-ақ Kravitz, Duan, and Braslow (2004) . емдеу Гетерогенді әдетте, алдын ала емдеу сипаттамалары негізінде айырмашылықтар бағытталған. Сіз кейінгі емдеу нәтижелеріне негізделген гетерогенді мүдделі болса, онда неғұрлым күрделі approachs осындай негізгі стратификация ретінде қажет (Frangakis and Rubin 2002) ; қараңыз Page et al. (2015) қарау үшін.

Мысалы, көптеген зерттеушілер сызықтық пайдалана отырып Регрессия емдеу жақтылығы бағалайсыз, бірақ жаңа әдістері машина оқыту сүйенеді Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , сондай-ақ Athey and Imbens (2016a) .

Әсерлердің гетерогенді қорытындылар туралы кейбір шүбә өйткені бірнеше салыстыру проблемаларды және бар бірнеше салыстырғанда шамамен мекенжай алаңдаушылық көмектесе алады статистикалық әртүрлі тәсілдер бар «балық аулау». (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . «Балық аулау» алаңдаушылық бірі көзқарас психология бойынша жиі айналуда алдын ала тіркеу болып табылады (Nosek and Lakens 2014) , саясаттану (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) және экономика (Olken 2015) .

Зерттеу Costa and Kahn (2013) эксперимент үй шаруашылықтарының тек жартысына жуығы демографиялық ақпаратқа байланысты болады алдық. Осы талдау бөлшектер мен ықтимал проблемаларды мүдделі оқырмандар бастапқы қағаз сілтеме жасауға тиіс.

Тетіктері (бөлім 4.4.3)

Тетіктері нанғысыз маңызды болып табылады, бірақ олар зерттеу өте қиын болып шығады. Тығыз психология медиаторлардың зерттеуге байланысты тетіктері туралы зерттеу (сонымен қатар қараңыз VanderWeele (2009) екі идеялар арасындағы нақты салыстыру үшін). Мұндай әзірленген тәсіл ретінде тетіктерін табу үшін статистикалық тәсілдер, Baron and Kenny (1986) , жиі орын алады. Өкінішке орай, сол рәсімдерді кейбір күшті болжамдарға байланысты екен (Bullock, Green, and Ha 2010) көптеген жағдайларда күтуге мүмкін, сондай-ақ бірнеше тетіктері бар кезде зардап шегеді (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) , сондай- Imai and Yamamoto (2013) кейбір жетілдірілген статистикалық әдістерін ұсынады. Әрі қарай, VanderWeele (2015) сезімталдық талдауын кешенді көзқарас, оның ішінде маңызды нәтижелерін, бірқатар кітап-ұзындығы емдеу ұсынады.

Жеке тәсіл (матростар С дәрумені бере мысалы,) тікелей тетігін айлалы әрекет эксперименттер назар аударады. Өкінішке орай, көптеген әлеуметтік ғылымдар параметрлері бар бірнеше тетіктері жиі және ол басқаларды өзгертпей біреуін өзгерту емдеу жобалау қиын. Эксперименталды тетіктерін өзгерту үшін кейбір көзқарастар сипатталған Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , сондай-ақ Pirlott and MacKinnon (2016) .

Сипатталғандай Соңында, сондай-ақ, тетіктері ғылым философиясы ұзақ тарихы бар Hedström and Ylikoski (2010) .

Бар орталарда (Бөлім 4.5.1.1) пайдалану

Кемсітушілікке өлшеу үшін хат-зерттеу және аудит зерттеулер пайдалану туралы қосымша ақпарат алу үшін қараңыз Pager (2007) .

Сіздің жеке эксперимент (Бөлім 4.5.1.2) Build

Сіз салу эксперименттер қатысушыларды тартуға ең қарапайым жолы Amazon Механикалық Түрік (MTurk) болып табылады. Дәстүрлі зертханалық адам еркін көптеген зерттеушілер қазірдің өзінде дәстүрлі қарағанда тезірек және арзанырақ деректер жинау нәтижесінде адам субъектілері экспериментке қатысушы ретінде Turkers (MTurk бойынша жұмысшылар) қолдана бастады, олар емес еді тапсырмаларды орындау үшін эксперименттер-төлеу MTurk ұқсайтын аспектілері Себебі кампусында зертханалық эксперименттер (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk жалданады қатысушылармен эксперименттер ірі күші логистикалық болып табылады: олар зерттеушілер тез және қажетінше қатысушыларды тартуға мүмкіндік береді. зертханалық эксперименттер іске қосу үшін апта кетуі мүмкін және далалық эксперименттер Реттеу үшін ай кетуі мүмкін, ал MTurk жалданады қатысушылармен эксперименттер күндері іске қосуға болады. Мысалы, Berinsky, Huber, and Lenz (2012) 8 минут эксперимент қатысуға бір күнде 400 пәндерді тартуға ие болды. Бұдан әрі, осы қатысушылар (тарауларының 3 және 5 талқыланғандай, сауалнамалар мен бұқаралық ынтымақтастық қоса алғанда) іс жүзінде кез келген мақсатта жалданады болады. жалдау Бұл жеңілдігі зерттеушілер тез қатарынан байланысты эксперименттер реттілігін іске қосуға болады дегенді білдіреді.

Сіздің жеке эксперименттер үшін MTurk қатысушылар рекрутингілік алдында, білу төрт маңызды нәрселер бар. Біріншіден, көптеген зерттеушілер Turkers қатысуымен эксперименттер арнайы емес шүбә бар. Осы шүбә нақты емес болғандықтан, ол дәлелдемелер бар қарсы тұру қиын. Алайда, Turkers пайдалана отырып зерттеу бірнеше жылдан кейін, біз қазір осы шүбә әсіресе қажет емес деген қорытынды жасауға болады. басқа популяциялар мен басқа да халықтың қорытындысы Turkers отырып эксперименттер нәтижелерін салыстыру көптеген зерттеулерге Turkers демографиялық салыстыру көптеген зерттеулер бар. Бұл барлық жұмыс ескере отырып, менің ойымша, сіз бұл туралы не ойлайсыз үшін ең жақсы жолы Turkers көп студенттер сияқты, ақылға қонымды ыңғайлы үлгісі болып табылады, бірақ сәл астам түрлі екенін ойлаймын (Berinsky, Huber, and Lenz 2012) . Осылайша, тек студенттер кейбір, бірақ барлық эксперименттік-зерттеу үшін ақылға қонымды, халық болып, Turkers кейбір емес, барлық ғылыми-зерттеу үшін ақылға қонымды, халық болып табылады. Егер сіз Turkers жұмыс істеу болсаңыз, онда ол осы салыстырмалы зерттеулер көптеген оқып және олардың өзгешеліктерін түсінуге мағынасы.

Екіншіден, зерттеушілер түркі эксперименттер ішкі жарамдылығын арттыру үшін үздік-тәжірибесін әзірледі, және сіз туралы біле және осы үздік-тәжірибесін ұстануға тиіс (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Мысалы, Turkers пайдаланып зерттеушілер мұқият болмасақ қатысушыларды жою үшін просеиватели қолдану ұсынылады (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (сонымен қатар қараңыз DJ Hauser and Schwarz (2015b) және DJ Hauser and Schwarz (2015a) ). Егер сіз мұқият болмасақ қатысушыларды алып тастау жоқ болса, онда кез келген емдеу әсері мұқият болмасақ қатысушылардың енгізілді шу жүзеге жууға болады, ал іс жүзінде мұқият болмасақ қатысушылар саны айтарлықтай болуы мүмкін. Хубер мен әріптестерінің эксперимент (2012) қатысушылардың шамамен 30%, негізгі назар просеиватели алмады. Turkers ортақ Тағы бір проблема емес аңқау қатысушылар болып табылады (Chandler et al. 2015) .

Үшіншіден, сандық эксперимент кейбір басқа да нысандарын қатысты, MTurk эксперименттер масштабтау мүмкін емес; Stewart et al. (2015) кез келген уақытта MTurk ғана шамамен 7000 адам бар екенін бағалайды.

Соңында, сіз MTurk өз ережелері мен нормаларының талаптарына қауымдастық екенін білуі тиіс (Mason and Suri 2012) . Сіз эксперименттер іске жиналады елдің мәдениеті туралы білуге тырысыңыз еді Сол сияқты, сіз Turkers мәдениет мен нормаларын туралы көбірек білуге тырысу керек (Salehi et al. 2015) . Сіз тиісті емес немесе этикаға нәрсе істеу болса, сіз Turkers экспериментті туралы әңгіме болады деп білуі керек (Gray et al. 2016) .

MTurk сияқты, олар зертханалық-сияқты ма, сіздің эксперименттер қатысушыларды тартуға керемет ыңғайлы жолы болып табылады Huber, Hill, and Lenz (2012) сияқты, немесе одан да көп саласындағы сияқты, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , сондай-ақ Mao et al. (2016) .

Сіздің жеке өнімді (Бөлім 4.5.1.3) Build

Егер сіз өз өнім жасау тырысып ойлап жүрсең, саған MovieLens тобы ұсынған кеңес оқып ұсынамыз Harper and Konstan (2015) . олардың тәжірибесі кілтін Insight әрбір сәтті жоба бойынша көптеген сәтсіздіктер бар болып табылады. Мысалы, MovieLens тобы осындай толық сәтсіздікке болды GopherAnswers-ақ басқа да өнімдер іске қосылды (Harper and Konstan 2015) . Өнімді салу әрекетімен апатты зерттеуші Тағы бір мысал Arden деп аталатын онлайн ойынын салу Эдвард Castronova әрекеті болып табылады. Қаржыландыру $ 250,000 қарамастан, жоба сәтсіздікке болды (Baker 2008) . GopherAnswers және Arden сияқты жобалар, өкінішке орай әлдеқайда кең таралған MovieLens сияқты жобаларды қарағанда. Мен сәтті жерде қайталанған эксперименттер үшін өнім салынған болатын кез келген басқа да зерттеушілердің білмеген, деуімен менің өлшемдері болып табылады Соңында,: 1) қатысушылар, өйткені ол олардың (мысалы, қамтамасыз қандай өнімді пайдалануға, олар төленген жоқ және олар емес болып табылады ғылым көмектесе еріктілер) және 2) өнім бiреуден артық айқын эксперимент (түрлі қатысушысы алаптары, яғни сол емес эксперимент бірнеше есе) үшін қолданылған. Егер басқа мысалдар білсеңіз, маған хабарлауыңызды сұраймыз.

Қуатты (бөлімде 4.5.2) серіктес

Мен Пастер ның Quadrant идеясы технологиялық компаниялар жиі талқыланды естідім, және бұл Google ғылыми күш-жігерін ұйымдастыруға көмектеседі (Spector, Norvig, and Petrov 2012) .

Bond мен әріптестер оқу (2012) , сондай-ақ оларды алған адамдардың достары осы емдеу әсерін анықтау тырысады. Себебі эксперимент дизайн, бұл ВЭ таза анықтау қиын; мүдделі оқырмандар көру керек Bond et al. (2012) неғұрлым жан-жақты талқылау үшін. Бұл эксперимент дауыс беру ынталандыру күш саясаттану эксперименттер ұзақ дәстүр бөлігі болып табылады (Green and Gerber 2015) . Олар Пастер ның Quadrant өйткені Бұл алуға шығыс--дауыс эксперименттер бөлігінде таралған. Осы дауыс беру және дауыс беру арттыру үшін дәлелді көптеген адамдар мінез-құлықты өзгерту және әлеуметтік әсер туралы жалпы теориялар тексеру үшін қызықты болуы мүмкін мінез-құлық бар, табылады.

Басқа зерттеушілер серіктес осындай саяси партиялар сияқты ұйымдар, үкіметтік емес ұйымдар, бизнес және далалық тәжірибе іске қосу туралы кеңес берген (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Басқа ұйымдармен серіктестік зерттеу конструкциялары әсер етуі мүмкін жолдары туралы кеңестер беріледі (Green, Calfano, and Aronow 2014; King et al. 2007) . Серіктестік сондай-ақ этикалық сұрақтарға әкелуі мүмкін (Humphreys 2015; Nickerson and Hyde 2016) .

Дизайн кеңес (бөлім 4.6)

Егер сіз эксперимент іске қоспас бұрын талдау жоспарын жасау болсаңыз, менің ойымша, сіз есепті нұсқауларды оқу арқылы бастау деп болжайды. Консорт (Сынақ шоғырландырылған Стандартты есептілік) нұсқаулар медицинада әзірленді (Schulz et al. 2010) және әлеуметтік зерттеулер жүргізу үшін түрлендірілген (Mayo-Wilson et al. 2013) . Нұсқаулардың жиынтығы Байланысты эксперименттік саясаттану журналының редакторлары әзірлеген болатын (Gerber et al. 2014) (сондай-ақ, қараңыз Mutz and Pemantle (2015) және Gerber et al. (2015) ). Соңында, есепті нұсқаулар психология әзірленді (Group 2008) , сондай-ақ қараңыз Simmons, Nelson, and Simonsohn (2011) .

Егер талдау жоспарын жасау Егер алдын-ала тіркеу басқалары сіздің нәтижелеріне сенім артады, өйткені сіз оны алдын-ала тіркеу қарастыру керек. Егер сіз серіктеспен жұмыс істейді Сонымен қатар, егер, ол нәтижелерді көргеннен кейін талдау өзгерту үшін серіктестің қабілетін шектейді. Алдын-ала тіркеу психология бойынша жиі айналуда (Nosek and Lakens 2014) , саясаттану (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , сондай-ақ экономика (Olken 2015) .

Егер алдын ала талдау жоспарын жасау барысында, сондай-ақ кейбір зерттеушілер сметалық емдеу әсерін дәлдігін арттыру үшін регрессия және онымен байланысты тәсілдерді пайдалану, сондай-ақ осы көзқарас туралы кейбір пікір-сайыс бар екенін білуі тиіс: Freedman (2008) , Lin (2013) , сондай-ақ Berk et al. (2013) ; қараңыз Bloniarz et al. (2016) қосымша ақпарат алу үшін.

Арнайы онлайн далалық тәжірибелер үшін Дизайн кеңес, сондай-ақ ұсынылған Konstan and Chen (2007) және Chen and Konstan (2015) .

Нөлдік айнымалы шығындар деректерді (бөлім 4.6.1) жасау

MusicLab эксперименттер туралы қосымша алу үшін, қараңыз Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , және Salganik (2007) . Жеңімпазы-алуға барлық нарықтарда толығырақ қараңыз Frank and Cook (1996) . Жалпы астам распутывать сәттілік пен шеберлік туралы қосымша алу үшін, қараңыз Mauboussin (2012) , Watts (2012) , сондай-ақ Frank (2016) .

әскерге шақыру науқаны: зерттеушілер сақтықпен пайдалану керек қатысушысы төлемдерді жою үшін басқа тәсіл бар. көптеген онлайн далалық тәжірибе қатысушылар негізінен эксперименттер қатарына және ешқашан өтеледі. Осы тәсілді мысалдары Restivo және ван де Rijt берушінің қамтиды (2012) Уикипедия және Облигацияны көтермелеу мен әріптесінің бойынша эксперимент (2012) дауыс адамдарды ынталандыру бойынша эксперимент. Бұл эксперименттер шын мәнінде нөлдік айнымалы құнын жоқ, олар зерттеушілер нөлдік айнымалы шығындарды бар. Осы көптеген эксперименттер құны әрбір қатысушыға өте аз, тіпті, шағын шығындар қатысушылардың үлкен саны тез қосуға болады жүктелген. жаппай онлайн эксперименттер жұмыс істеп зерттеушілер жиі көптеген адамдарға қолданылады кезде, осы шағын әсерлер маңызды бола алады деп шағын болжамды емдеу маңыздылығын негіздеу. дәл сол ойлау зерттеушілер қатысушылардың таңа шығындарға қолданылады. Егер эксперименттер бір миллион адам бір минут босқа себеп болса, эксперимент кез келген белгілі бір адамға өте зиянды емес, бірақ жиынтығында ол уақыт дерлік екі жыл ысырап етті.

Қатысушыларға нөлдік айнымалы шығындар төлем жасау үшін тағы бір тәсіл лотерея, сондай-ақ, зерттеу зерттеулер қолданылған тәсіл қолдану болып табылады (Halpern et al. 2011) . Ақыр соңында, жағымды пайдаланушы тәжірибе жобалау туралы көбірек қараңыз Toomim et al. (2011) .

Ауыстырыңыз, нақтылау, сондай-ақ (бөлімді 4.6.2) азайтыңыз

Мұнда бастап үш R, бастапқы анықтамалар Russell and Burch (1959) :

«Ауыстыру insentient материал саналы тірі жоғары жануарлар үшін алмастыру дегенді білдіреді. Қысқарту берілген сомасы мен нақтылығы ақпаратты алу үшін қолданылатын жануарлардың санын азайтады білдіреді. Нақтылау адамгершілікке рәсімдерді сырқаттанушылық немесе ауырлығына кез келген төмендеуі әлі пайдаланылуы тиіс бар жануарларға қолданылатын білдіреді. «

үш R менде олар көп пысықталған нұсқасы сол принциптерге-арнайы-игілікті адам эксперименттер параметрі үшін бірі болып табылады, орнына 6-тарау сипатталған этикалық принциптерін орнын баспайды ұсынамыз.

Эмоционалдық Contagion қарастырғанда, осы эксперимент түсіндіру кезінде есте ұстау үшін үш емес этикалық мәселелер бар. Біріншіден, бұл эксперимент нақты егжей теориялық талаптардың қосылу қалай анық емес болып табылады; басқа сөзбен айтқанда, конструкция қолданылу туралы мәселелер бар. Ол бұл анық емес) 1) ол адам орналастыруға сөздер олардың эмоциялар және 2 жақсы көрсеткіш екендігін анық емес, өйткені оң және теріс сөз санақ іс жүзінде қатысушылардың эмоционалдық мемлекет жақсы көрсеткіш екендігін анық емес зерттеушілер пайдаланылатын Атап көңіл талдау әдістемесі сенімді эмоциялар тұжырым алады (Beasley and Mason 2015; Panger 2016) . Басқаша айтқанда, түсінгі сигналдың жаман шара болуы мүмкін. Екіншіден, эксперимент жобалау және талдау бізге ең көп əсер етті кім туралы ештеңе (яғни, емдеу әсерлердің гетерогенді ешқандай талдау бар) және қандай механизм болуы мүмкін әңгімелейді. Бұл жағдайда, зерттеушілер қатысушылар туралы ақпарат көп болды, бірақ олар шын мәнінде талдау виджеттерді ретінде емделді. Үшіншіден, осы эксперимент әсер мөлшері өте аз болды; емдеу және бақылау шарттарын арасындағы айырмашылық шамамен 1 1000 жылы сөздер болып табылады. олардың қағаз, Крамер мен әріптестер миллиондаған адамдардың жүздеген олардың Жаңалықтар күн сайын Feed қатынаса, өйткені осы мөлшерін әсер маңызды екенін іс жеткізіңіз. Басқаша айтқанда, олар тіпті әсерлер, олар жиынтығында үлкен әрбір адам үшін кішкентай деп тұжырымдайды. Егер сіз осы дәлел қабылдауға Тіпті осы мөлшерін әсер эмоционалдық жұқтырып туралы жалпы ғылыми мәселе қатысты маңызды болса, ол әлі күнге дейін анық емес. Шағын әсерлер маңызды жағдайларда туралы толығырақ қараңыз Prentice and Miller (1992) .

Эмоционалдық Contagion эксперимент салыстыру бірінші R (ауыстыру), тұрғысынан (Kramer, Guillory, and Hancock 2014) және эмоциялық жұқтыру табиғи эксперимент (Coviello et al. 2014) көшу қатысатын сауда-офф жайлы кейбір жалпы сабақтар ұсынады табиғи эксперимент (және 2-тармағын қараңыз, емес эксперименттік деректерді эксперименттер жақындастыру деп талпыныс сәйкес сияқты басқа тәсілдерді) үшін эксперименттер. этикалық жәрдемақы Сонымен қатар, азық-эксперименттік зерттеулер тәжірибелік ауысу, сондай-ақ олар логистикалық жаю алмайтын емдеу оқуға зерттеушілер мүмкіндік береді. Бұл, этикалық және материалдық-техникалық жәрдемақы алайда, құны келеді. Табиғи эксперимент зерттеушілер аз қатысушылардың іріктеу сияқты заттарды бақылау, рандомизацияны, және емдеу сипатқа ие. Мысалы, емдеу ретінде жауын-шашынның бір шектеу, ол оң арттырады және негативизм төмендетеді екеуі болып табылады. эксперименттік зерттеу, алайда, Крамер және әріптестер дербес оң және теріс реттеу мүмкіндігіне ие болды.

Пайдаланылатын нақты тәсілдер Coviello et al. (2014) , одан әрі әзірленді Coviello, Fowler, and Franceschetti (2014) . Аспаптық айнымалы үшін енгізу үшін қараңыз Angrist and Pischke (2009) (кем ресми) немесе Angrist, Imbens, and Rubin (1996) (ресми астам). Аспаптық айнымалылар күмәнмен бағалау үшін қараңыз Deaton (2010) , сондай-ақ әлсіз құралдарымен аспаптық айнымалы үшін енгізу үшін (жаңбыр әлсіз құралы болып табылады), қараңыз Murray (2006) .

Тұтастай алғанда, табиғи эксперимент жақсы енгізу Dunning (2012) , сондай-ақ Rosenbaum (2002) , Rosenbaum (2009) , сондай-ақ Shadish, Cook, and Campbell (2001) эксперименттер жоқ себептік ықпалын бағалау туралы жақсы идеялар ұсынады.

лауазымдарды арттыратын үшін лауазымдарды бұғаттау бастап Эмоционалдық таралу дизайнын өзгерту қараған кезде екінші R (нақтылау) тұрғысынан, ғылыми және материалдық-техникалық ымырасын бар. Мысалы, ол блоктау лауазымдарға бар эксперимент туралы қабатының ретінде жүзеге асырылуы мүмкін екенін атап (Жаңалықтар таспасы техникалық іске асыру, ол лауазымдарды арттыру бар блоктау бекеттер бар эксперимент гөрі эксперимент істеу айтарлықтай оңай етеді деп жағдайда болуы мүмкін базалық жүйесін өзгертуді қажет жоқ Жаңалықтар таспасы жүйесін жоғарғы). Ғылыми, алайда, эксперимент арқылы жолданған теориясы анық басқа бір дизайнін ұсынамыз жоқ.

Өкінішке орай, мен Жаңалықтар таспасы контентті блоктау және арттыру салыстырмалы сіңірген еңбегі жайлы айтарлықтай алдын ала зерттеулер туралы хабардар емеспін. Сондай-ақ, Мен олардың кем зиянды жасауға емдеу өңдеу туралы көп зерттеулер көрген жоқ; бір ерекшелік болып табылады Jones and Feamster (2015) Интернет цензура (I Encore зерттеуге қарым-қатынас, 6-тарауында талқылау тақырыбы өлшеу iстi қарайтын, (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Үшінші R (қысқарту) тұрғысынан, дәстүрлі электр талдау үшін жақсы енгізу Cohen (1988) . Алдын-ала емдеу covariates жобалау сатысында және эксперименттер талдау кезеңінде қосылған болуы мүмкін; 4-тарау Gerber and Green (2012) , екі тәсілдерді жақсы енгізу қамтамасыз етеді және Casella (2008) неғұрлым терең ем қамтамасыз етеді. рандомизации осы алдын ала емдеу ақпаратты пайдалана техникасы әдетте, не деп аталады эксперименттік жобаны немесе қабатты эксперименттік конструкцияларын (терминология қауымдастықтар арқылы дәйекті қолданылмайды) бітеліп қалған; бұл әдістер 3-тарау қараңыз талқыланды стратифицированной таңдау әдістерін терең байланысты Higgins, Sävje, and Sekhon (2016) жаппай эксперименттер осы дизайнын пайдалану туралы қосымша үшін. Алдын ала емдеу covariates, сондай-ақ талдау кезеңінде қосылған болады. McKenzie (2012) толығырақ өріс эксперименттер талдау үшін айырмашылық-ақ айырмашылықтар тәсілді зерттейді. Қараңыз Carneiro, Lee, and Wilhelm (2016) емдеу бағалаудағы дәлдігін арттыру үшін түрлі тәсілдерді арасындағы сауда-офф туралы толығырақ. дизайнға немесе талдау сатысында (немесе екеуіне де) алдын ала емдеу covariates қамтуы көріңіз туралы мәселенi Соңында, қарастыру бірнеше факторлар бар. Зерттеушілер, олар «балық аулау» емес екенімізді көрсеткіміз келеді параметрде (Humphreys, Sierra, and Windt 2013) , жобалау сатысында алдын ала емдеу covariates пайдаланып пайдалы болуы мүмкін (Higgins, Sävje, and Sekhon 2016) . Қатысушылар дәйекті келеді жағдайларда, әсіресе, онлайн далалық тәжірибе, жобалау сатысында алдын ала емдеу ақпаратты пайдалана отырып, мысалы қараңыз логистикалық қиын болуы мүмкін Xie and Aurisset (2016) .

Бұл айырмашылық-ақ олардың айырмашылықтары әлдеқайда тиімді айырма-ақ құралдарын қарағанда болуы мүмкін неге түйсігі біраз қосу тұр. Көптеген онлайн нәтижелері өте жоғары дисперсиясын бар (мысалы, қараңыз Lewis and Rao (2015) және Lamb et al. (2015) ) және ұзақ уақыт бойы салыстырмалы түрде тұрақты болып табылады. Бұл жағдайда, өзгеріс балл статистикалық сынау қуатын арттыру, айтарлықтай аз дисперсиясын болады. Осы себептердің бірі жақындап жиі қолданылады емес алдын ала сандық жасына ол алдын-ала емдеу нәтижелерін бар ортақ емес екенін болып табылады. Бұл туралы ойлауға және одан нақты тәсілі нақты жаттығулар жоғалуына салмағын тудырады ма өлшеу үшін эксперимент елестету болып табылады. Егер сіз айырмашылық-ақ құралдарын тәсіл істеу болса, сіздің сметалық халықтың салмақ өзгерістерінің шыққан өзгермелілігі болады. Егер сіз айырмашылық-ақ айырма тәсіл істеу болса, алайда, салмақ, деп табиғи вариация жойылса және оңай емдеу туындаған айырмашылықты анықтай алады.

Егер эксперимент қатысушылардың санын азайту маңызды бір жолы Крамер мен әріптестер табиғи эксперимент байқалады әсері өлшемдері негізінде жасадық мүмкін электр талдау жүргізу болып табылады Coviello et al. (2014) , немесе Крамер бұрын емес эксперименттік-зерттеу (2012) (шын мәнінде бұл осы тараудың соңында түрлері мыналар болып табылады). электр талдау осы пайдалану тән сәл түрлі екенін ескеріңіз. аналогтық жасы, зерттеушілер, әдетте олардың зерттеу (яғни, астында-механикаландырылған) тым аз болған жоқ екеніне көз жеткізу үшін, қуат талдау жасады. Енді, алайда, зерттеушілер олардың зерттеу (яғни, артық қуатсыз) тым үлкен емес екеніне көз жеткізу үшін, қуат талдау істеу керек.

Repurpose: Соңында, Мен төртінші R қосу қарады. Бұл зерттеушілер, олар өздерінің бастапқы зерттеу мәселені шешу қажет астам эксперименттік деректермен тап болса, олар жаңа сұрақтар қою деректерді repurpose керек, болып табылады. Мысалы, Крамер мен әріптестер айырмашылық-ақ айырмашылықтар бағалауды пайдаланылатын және олардың ғылыми-зерттеу мәселені шешу үшін қажет астам деректермен өздерін тапты делік. Керісінше толық көлемде деректерді пайдалана кем емес, олар алдын-ала емдеу эмоционалдық білдіру үшін функциясы ретінде әсерін өлшемін оқыған болар еді. Дәл сол сияқты Schultz et al. (2007) , бәлкім, Жаңалықтар таспасы әсері қазірдің өзінде бақытты (немесе қайғылы) хабарларды жариялауға үрдісі адамдар үшін әр түрлі болды, емдеу әсері жеңіл және ауыр пайдаланушылар үшін әр түрлі болғанын анықтады. Repurposing «балық аулау» әкелуі мүмкін (Humphreys, Sierra, and Windt 2013) және «P-бұзу» (Simmons, Nelson, and Simonsohn 2011) , бірақ бұл негізінен адал есеп комбинациясы адрестеу (Simmons, Nelson, and Simonsohn 2011) , алдын-ала тіркеу (Humphreys, Sierra, and Windt 2013) , және жоғары фитингтер болдырмау үшін әрекет машина оқыту әдістері.