4.3 Две димензије експеримената: лабораторије на терену и аналогни-дигитални

Лаб експерименти нуде контролу, на терену експерименти нуде реализам, а дигитални терену експерименти комбинују контролу и реализам у скали.

Експерименти долазе у различитим облицима и величинама. Али, упркос тим разликама, истраживачи су открили да је корисно да се организују експерименте уз континуум између лабораторијских експеримената и пољским огледима. Сада, међутим, истраживачи би требало да организује експерименте дуж континуума између аналогних и дигиталних експеримената експеримената. Овај дводимензионални дизајн простор ће вам помоћи да схватите предности и слабости различитих приступа и указују на области највећег могућности (слика 4.1).

Слика 4.1: Шема дизајн простора за експерименте. У прошлости, експерименти варирао дуж димензије лабораторија поља. Сада, они такође варирају у аналогном-дигитални димензију. По мом мишљењу, област највећег могућности је дигитални теренски експерименти.

У прошлости, главни начин да истраживачи организовали експеримената је био уз димензије лабораторија поља. Већина експеримената у друштвеним наукама су лабораторијски експерименти у којима основних ученици обављају необичне послове у лабораторији за испите. Ова врста експеримента доминира истраживања у психологији, јер омогућава истраживачима да створи веома специфичне третмане намењене за тестирање веома специфичне теорије о друштвеном понашању. За одређене проблеме, међутим, нешто осећа помало чудно о изради јаке закључке о људском понашању од таквих необичним људима који обављају такве необичне послове у таквом необичном амбијенту. Ови проблеми су довели до покрета према пољским огледима. Фиелд експерименти комбинују јак дизајн рандомизираних експеримената контроле са више репрезентативних група учесника, обављања више заједничких послова, у више природном окружењу.

Иако неки људи мисле лабораторијских и теренских експеримената као конкурентске методе, најбоље је да мислим о њима као комплементарне методе са различитим предности и слабости. На пример, Correll, Benard, and Paik (2007) користи како лабораторијски експеримент и на терену експеримент у покушају да нађу изворе у "материнства казне." У Сједињеним Америчким Државама, мајке зарађују мање новца него без деце жена, чак и када упоређујући жене са сличним вештинама које раде у сличним пословима. Постоји много могућих објашњења за овај образац, а један је да су послодавци пристрасан према мајкама. (Занимљиво је, супротно изгледа важи и за оци: они имају тенденцију да зараде више од сличних људи без деце). Како би се проценило евентуална пристрасност против мајке, Коррелл и колеге водио два експеримента: један у лабораторији и једну на терену.

Прво, у лабораторијског експеримента Коррелл и колеге рекли учесницима, који су били колеџ студенти, који је Калифорнија-базиран старт-уп комуникације компанија која спровођење потрагу за запошљавање за лице да води свој нови Еаст Цоаст маркетинг одељење. Студенти су рекли да је компанија жели њихову помоћ у процесу запошљавања и они су замољени да прегледају биографије неколико потенцијалних кандидата и да оцените кандидата на великом броју димензија, као што су своју интелигенцију, топлине и посвећености да раде. Даље, студенти су се питали да ли бих препоручио запошљавања подносиоца пријаве и шта ће препоручити као почетна плата. Без знања студентима, међутим, биографије су посебно конструисана тако да буде сличан осим једне ствари: неки од биографије сигнализира мајчинство (наводећи учешће у родитељском удружења), а неки нису. Коррелл утврдио да студенти били мање вероватно препоручити запошљавања мајке и понудио им нижу почетну плату. Даље, кроз статистичку анализу како оценама и одлукама ангажовање у вези, Коррелл утврдио да су недостаци мајки углавном објашњава чињеницом да су мајке номиналне нижи у смислу надлежности и посвећености. Другим речима, Коррелл тврди да ове особине су механизам кроз који су мајке у неповољном положају. Тако, ова лабораторија експеримент дозвољено Коррелл и колеге за мерење ефекат узрочно и обезбедити могуће објашњење за ту сврху.

Наравно, могло би бити скептичан око извлачење закључака о целом америчком тржишту рада на основу одлуке неколико стотина студентима који су вероватно никада нису имали пуно радно вријеме, а камоли ангажују људе. Стога, Коррелл и његове колеге такође спровео комплементарни на терену експеримент. Истраживачи одговорили на стотине објављених радних мјеста слањем лажних насловним слова и биографије. Слично материјала да се покаже студентима, неки се наставља сигнализирао материнство, а неки нису. Коррелл и његове колеге открили да су мајке биле мање вероватно да ће се јавио на разговор него једнако квалификованим без деце жена. Другим речима, прави послодавци израду последичне одлуке у природном окружењу понашају слично као на студентима. Да ли су се сличне одлуке из истог разлога? На жалост, ми не знамо. Истраживачи нису могли да питате послодавце да оцените кандидата или објасне своје одлуке.

Овај пар експеримената открива много о лабораторијским и пољским огледима уопште. Лаб експерименти нуде истраживачима около потпуну контролу животне средине у којима се учесници доносити одлуке. Тако, на пример, у лабораторијског експеримента, Коррелл био у стању да осигура да су све биографије читати у мирном окружењу; У пољском огледу, неки од биографије можда није чак ни прочитао. Даље, јер учесници у окружењу лабораторијског знају да се проучавају, истраживачи су често у стању да прикупи додатне податке који могу да помогну да схвате зашто су учесници доносе своје одлуке. На пример, Коррелл тражили од учесника у лабораторијског експеримента у оцијени кандидате на различитим димензијама. Ова врста процеса података може да помогне истраживачима разумеју механизме који стоје иза разлика у томе како учесници третирају биографије.

С друге стране, ови Потпуно исти карактеристике које сам управо описао као предности се понекад сматра недостатке. Истраживачи који воле експерименте на терену тврде да су учесници у лабораторијским експериментима може деловати веома другачије када се пажљиво посматра. На пример, у лабораторији учесници експеримента могли погодити циљ истраживања и мења њихово понашање, тако да не изгледају пристрасни. Даље, истраживачи који воле експерименте на терену може тврдити да мале разлике у биографијама могу само истичу у веома чист, стерилни лабораторијском окружењу, а самим тим и лабораторија експеримент ће преко-проценити ефекат материнства на одлуку прави за запошљавање. На крају, многи заговорници пољским огледима критикују лаб експерименте ослањање на чудан учесника: углавном студенти из Западне, образовани, индустријске, богат и демократске земље (Henrich, Heine, and Norenzayan 2010) . Експерименти по Коррелл и колега (2007) два екстрема на лабораторија-поља континуума. Између ове две крајности постоји низ хибридних дизајна укључујући и приступе као што доноси не-студенте у лабораторију или одлазак на терен, али још увек има учесници обављају необичан задатак.

Поред димензију лабораторија-поља која је постојала у прошлости, дигитално доба значи да истраживачи сада имају другу велику димензију дуж којих експерименти могу варирати: аналогно-дигитални. Као што постоје чисти експерименти лабораторијски, чисти терену експерименти, као и разне хибрида између њих, постоје чисти аналогни експерименти, чисти дигитални експерименти, као и разне хибрида. То је лукав да понуди формалну дефиницију ове димензије, али корисна радна дефиниција је да потпуно дигитални експерименти су експерименти који користи дигиталне инфраструктуре за упошљавање учесника, рандомизе, пружање третмана, и мерење резултата. На пример, Рестиво и ван де Ријт је (2012) барнстарс и Википедија је потпуно дигитални експеримент јер се користи дигиталне системе за све четири од ових корака. Исто тако потпуно аналогни експерименти су експерименти који не користе дигиталне инфраструктуре за било који од ова четири корака. Многи од класичних експеримената у психологији су аналогни експерименти. Између ова два екстрема делимично постоје дигитални експерименти који користе комбинацију аналогних и дигиталних система за четири корака.

Критички, могућности за покретање дигиталне експерименти нису само мрежи. Истраживачи могу покренути делимично дигитални експерименте помоћу дигиталних уређаја у физичком свету како би се достави третмане или мере исхода. На пример, истраживачи могу користити паметне телефоне да достави третмане или сензоре у изграђено окружење за мерење резултата. У ствари, као што ћемо касније видети у овом поглављу, истраживачи су већ користили Хоме Повер метара за мерење резултата у експериментима о социјалним нормама и потрошње енергије који укључује 8,5 милиона домаћинстава (Allcott 2015) . Као дигитални уређаји постају све више интегришу у животима људи и сензори се интегрише у изграђено окружење, те могућности за покретање делимично дигиталних експерименте у физичком свету ће се повећати драматично. Другим речима, дигитални експерименти нису само мрежи експерименти.

Дигитални системи стварају нове могућности за експерименте свуда дуж лабораторија-поља континуума. У чистим лабораторијским експериментима, на пример, истраживачи могу да користе дигиталне системе за мерење финије понашања учесника; Један пример ове врсте побољшане мерења је око праћење опрема која пружа прецизне и континуиране мере поглед месту. Дигитално доба такође ствара могућност за покретање лабораторије као експерименте на мрежи. На пример, истраживачи су брзо усвојили Мецханицал Турк (МТурк) да регрутује учеснике за онлајн експерименте (слика 4.2). МТурк одговара "послодаваца", који имају задатке које треба да се заврши са "радника" који желе да заврше те задатке за новац. За разлику од традиционалних тржишта рада, међутим, задаци који су укључени обично захтевају само неколико минута да заврши и цео интеракција између послодавца и радника је виртуелна. Јер МТурк опонаша аспекти традиционалних лабораторијских експеримената који плаћају људе да заврше задатке које не би радила за бесплатно-је природно погодна за одређене врсте експеримената. У суштини, МТурк створио инфраструктуру за управљање фонд од учесника-регрутацију и плаћање на људе и истраживачи су искористиле те инфраструктуре да се укључе у један увек на располагању базен учесника.

Слика 4.2: Радове објављене на основу података из Мецханицал Турк (МТурк) (Bohannon 2016) . МТурк и друга тржишта рада на мрежи нуде истраживачима погодан начин да регрутује учеснике за експерименте.

Дигитални експерименти створити још више могућности за терену као експеримената. Дигитални теренски експерименти могу понудити уске податке контроле и процеса да схвате могуће механизме (као лабораторијским експериментима) и више различитих учесника прављење праве одлуке у природном окружењу (као што пољским огледима). Поред ове комбинације добрих карактеристика ранијих експеримената, дигитални теренски експерименти такође нуди три могућности које је било тешко у аналогни лабораторијским и пољским огледима.

Прво, док већина аналогних лабораторијских и теренских експерименти имају стотине учесника, дигитални теренски експерименти могу имати милионе учесника. Ова промена у нивоу је због тога што су неки дигитални експерименти могу произвести податке на нулу варијабилних трошкова. То је, једном истраживачи су створили експерименталну инфраструктуре, повећање броја учесника типично не повећава трошкове. Повећање броја учесника са фактором 100 или више није само квантитативна промена, то је квалитативну промену, јер омогућава истраживачима да науче различите ствари од експеримената (нпр, хетерогеност ефеката лечења) и воде потпуно различите експериментални дизајн ( нпр, велика група експерименти). Ова тачка је толико важно, ја ћу се вратити на то пред крај поглавља када сам дају савете о стварању дигиталних експерименте.

Друго, док већина аналогних лабораторијских и теренских експеримената третирају учеснике као неразазнатљиве додаци, дигитални теренски експерименти често користе основне информације о учесницима у дизајну и анализе фазама истраживања. Ова информација позадина, која се назива информације пре третмана, често доступан у дигиталном експериментима, јер се одржати у потпуности измерених срединама. На пример, истраживач на Фацебоок-у има много више информација пре третмана од истраживача пројектовања стандардни лабораторијски експеримент са студентима. Ова информација предтретман омогућава истраживачима да превазиђе лечење учесницима као идентичном видгет. Тачније, информације пре третмана омогућава ефикасније експериментални дизајн-као што блокирања (Higgins, Sävje, and Sekhon 2016) циљано регрутовање учесника (Eckles, Kizilcec, and Bakshy 2016) -И више детаљним анализама-као што процене хетерогеност ефеката третмана (Athey and Imbens 2016a) и мјешовитих подешавање за побољшану прецизност (Bloniarz et al. 2016) .

Треће, док су многе аналогни лабораторијских и теренских експерименти пружају третмане и резултате мјера у релативно компримовани временском периоду, неки дигитални теренски експерименти укључити третмане који могу бити испоручена током времена и ефекти могу се мерити током времена. На пример, Рестиво и ван де Ријт експеримент има на исход измерене дневно за 90 дана, а један од експеримената ћу ти рећи о касније у поглављу (Ferraro, Miranda, and Price 2011) резултате преко 3 године у суштини не трошак. Ове три прилике-сизе, информације пре третмана, и уздужни третман и исход дата-су најчешћи када су експерименти ради на врху увек на мерења система (види Поглавље 2 за више информација о увек на мерних система).

Док дигитални теренски експерименти нуде многе могућности, они такође имају неке слабости са обе аналогни лабораторији и на терену експеримената. На пример, експерименти не може користити за проучавање прошлости, а они могу проценити само ефекте третмана који се може манипулисати. Исто тако, иако експерименти су несумњиво корисно да води политику, тачан смернице могу понудити је донекле ограничен због компликација као што су зависност животне средине, проблеми усклађености и ефекти равнотеже (Banerjee and Duflo 2009; Deaton 2010) . На крају, дигитални теренски експерименти магнифи етичке проблеме настале на терену експериментима. Заговорници теренских експеримената труба њихову способност да неприметно и насумично интервенише у последичне одлуке које доносе милионе људи. Ове карактеристике нуде одређене научне предности, али могу да пољским огледима етички комплекс (мислим о томе како истраживачи према људима попут "лабораторијске пацове" масовно). Даље, поред могућих штете за учеснике, дигитални теренски експерименти, због скале, могу такође изазвати забринутост због прекида радног друштвених система (на пример, забринутост због ометања Википедије систем награђивања ако Рестиво и Ван дер Ријт је превише барнстарс) .