4.3 Две димензије експеримената: лабораторије на терену и аналогни-дигитални

Лаб експерименти нуде контролу, на терену експерименти нуде реализам, а дигитални терену експерименти комбинују контролу и реализам у скали.

Експерименти долазе у различитим облицима и величинама. У прошлости истраживачи су сматрали корисним да организују експерименте дуж континуума између лабораторијских експеримената и теренских експеримената . Међутим, сада истраживачи треба да организују експерименте уз други континуум између аналогних експеримената и дигиталних експеримената . Овај дводимензионални дизајнерски простор ће вам помоћи да разумете јачине и слабости различитих приступа и истакнете области највеће могућности (слика 4.1).

Слика 4.1: Схема простора дизајна за експерименте. У прошлости експерименти варирају дуж димензије лаб-поља. Сада, они такође варирају на аналогно-дигиталној димензији. Овај дводимензионални простор дизајна илустрован је четири експеримента које описујем у овом поглављу. По мом мишљењу, подручје највеће могућности је дигитални експеримент на терену.

Једна димензија уз коју се могу организовати експерименти је димензија лаб-поља. Многи експерименти у друштвеним наукама су лабораторијски експерименти на којима додипломски студенти обављају чудне задатке у лабораторији за кредитни курс. Овакав тип експеримента доминира истраживањем у психологији јер омогућава истраживачима да стварају високо контролисане поставке да прецизно изолују и тестирају специфичне теорије о друштвеном понашању. За одређене проблеме, међутим, нешто се чини мало чудним у вези са цртањем снажних закључака о људском понашању од таквих необичних људи који обављају такве необичне задатке у тако необичном окружењу. Ове забринутости довеле су до кретања ка теренским експериментима . Теренски експерименти комбинују јак дизајн рандомизованих контролних експеримената са више репрезентативних група учесника који обављају честе задатке у природнијим поставкама.

Иако неки људи размишљају о лабораторијским и теренским експериментима као конкурентним методама, најбоље је размишљати о њима као комплементарним, са различитим предностима и слабостима. На пример, Correll, Benard, and Paik (2007) користили лабораторијски експеримент и теренски експеримент у покушају да пронађу изворе "мајчинске казне". У Сједињеним Државама мајке зарађују мање новца него жене без дјетета, чак и када упоређивање жена са сличним вештинама које раде на сличним пословима. Постоји много могућих објашњења за овај образац, од којих је један случај да су послодавци пристрасни према мајкама. (Занимљиво је да супротно изгледа да је истина за очеве: они имају тенденцију да зарађују више од упоредивих мушкараца без деце). Да би проценили могуће пристрасност према мајкама, Цоррелл и колеге су водили два експеримента: један у лабораторији и један на терену.

Прво, у лабораторијском експерименту рекли су учесницима, који су били колеџки студенти, да компанија спроводи посао у потрази за особом која ће водити свој нови маркетиншки одјел источне обале. Ученицима је речено да компанија жели помоћ у процесу запошљавања, а од њих је затражено да прегледају резултате неколико потенцијалних кандидата и да оцјењују кандидате по бројним димензијама, као што су њихова интелигенција, топлота и посвећеност раду. Даље, студенти су питани да ли ће препоручити запошљавање подносиоца захтјева и шта би они препоручили као почетну плату. Међутим, незнање ученицима, резиме су посебно конструисани да буду слични, осим једне ствари: неки од њих су сигнализирали мајчинство (укључивањем учешћа у удружењу родитеља-наставника), а неке нису. Цоррелл и колеге су открили да је мање вјероватно да ће ученици препоручити да унајмљују мајке и да им понуди нижу почетну плату. Надаље, кроз статистичку анализу и оцењивања и одлука везаних за запошљавање, Цоррелл и колеге су открили да су недостатци мајки у великој мјери објашњени чињеницом да су оцијењени нижи у смислу компетентности и посвећености. Тако је овај лабораторијски експеримент допуштао Цорреллу и колегама да измеру узрочни ефекат и пруже могуће објашњење за тај ефекат.

Наравно, можда би било скептично у вези са доношењем закључака о целокупном тржишту рада у САД-у на основу одлука неколико стотина студената који вероватно никада нису имали пуно радно време, а камоли ангажовали некога. Стога су Цоррелл и колеге такође спровели комплементарни теренски експеримент. Они су одговорили на стотине оглашиваних отварања послова са лажним насловима и радовима. Слично материјалима који су приказани студентима, неки су наставили са сигнализацијом материнства, а неки нису. Цоррелл и колеге су открили да су мање мајке враћене на интервјуе него једнако квалификоване жене без дјетета. Другим речима, стварни послодавци који доносе последичне одлуке у природном окружењу понашали су се као студенти. Јесу ли доносили сличне одлуке из истог разлога? Нажалост, не знамо. Истраживачи нису били у стању да затраже од послодаваца да оцјењују кандидате или објасне своје одлуке.

Овај пар експеримената показује пуно о лабораторијским и теренским експериментима уопште. Лабораторијски експерименти нуде истраживачима потпуну контролу околине у којој учесници доносе одлуке. Тако, на примјер, у лабораторијском експерименту, Цоррелл и колеге су успјели осигурати да су сви резимеи прочитани у тихом окружењу; у експерименту на терену, неке од тих резимеа можда нису ни читане. Надаље, зато што учесници у лабораторијском окружењу знају да се они проучавају, истраживачи често могу да сакупљају додатне податке који могу помоћи да се објасне зашто учесници доносе одлуке. На пример, Цоррелл и колеге су питали учеснике у лабораторијском експерименту да оцјењују кандидате у различитим димензијама. Овакви подаци о процесу могу помоћи истраживачима да разумеју механизме који стоје иза разлика у томе како учесници третирају резимее.

Са друге стране, ове исте карактеристике које сам управо описао као предности, понекад се сматрају и недостатком. Истраживачи који воле експерименте на терену, тврде да учесници у лабораторијским експериментима могу дјеловати веома другачије јер знају да се они проучавају. На пример, у лабораторијском експерименту учесници су можда погодили циљ истраживања и променили своје понашање како не би изгледали пристрасно. Надаље, истраживачи који воле експерименте на терену, могу тврдити да мале разлике у наставку могу да се истичу само у врло чистом, стерилном лабораторијском окружењу, и стога лабораторијски експеримент ће преценити ефекат материнства на одлуке о стварном запошљавању. Коначно, многи заговорници експеримената на терену критикују ослањање лабораторијских експеримената на учеснике ВЕИРД-а: углавном ученици из западних, образованих, индустријализованих, богатих и демократских земаља (Henrich, Heine, and Norenzayan 2010a) . Експерименти Цоррелл-а и колега (2007) илуструју два екстрема на континууму лаб-поља. Између ове две крајности постоје и различити хибридни дизајни, укључујући приступе као што су довршавање не-ученика у лабораторију или одлазак на терен, али и даље учесници обављају необичан задатак.

Поред лабораторијске димензије која је постојала у прошлости, дигитално доба значи да истраживачи сада имају другу главну димензију на којој експерименти могу варирати: аналогно-дигитални. Баш као што постоје чисти лабораторијски експерименти, експерименти са чистим теренима и низ хибрида између, постоје чисти аналогни експерименти, чисти дигитални експерименти и разни хибриди. Тешко је понудити формално дефинисање ове димензије, али корисна дефиниција рада је да су у потпуности дигитални експерименти експерименти који користе дигиталну инфраструктуру за регрутовање учесника, рандомизују, испоручују третмане и мере резултате. На пример, студија Рестив и ван де Ријта (2012) о барнстарима и Википедиау била је потпуно дигитални експеримент јер је користио дигиталне системе за сва четири корака. Исто тако, потпуно аналогни експерименти не користе дигиталну инфраструктуру за било који од ових четири корака. Многи од класичних експеримената у психологији су потпуно аналогни експерименти. Између ове две крајности, постоје делимично дигитални експерименти који користе комбинацију аналогних и дигиталних система.

Када неки људи размишљају о дигиталним експериментима, одмах размишљају о онлине експериментима. Ово је несрећно јер могућности за вођење дигиталних експеримената нису само онлине. Истраживачи могу радити делимично дигиталне експерименте помоћу дигиталних уређаја у физичком свијету ради пружања третмана или мерења исхода. На пример, истраживачи могу да користе паметне телефоне како би испоручили третмане или сензоре у изграђеном окружењу како би измерили резултате. Заправо, како ћемо видети касније у овом поглављу, истраживачи су већ користили домаће бројило за мерење резултата у експериментима у вези са потрошњом енергије која укључује 8,5 милиона домаћинстава (Allcott 2015) . Пошто дигитални уређаји постају све више интегрирани у живот људи, а сензори постају интегрисани у изграђено окружење, ове могућности за делимично дигиталне експерименте у физичком свету драматично ће се повећати. Другим речима, дигитални експерименти нису само онлине експерименти.

Дигитални системи стварају нове могућности за експерименте свугдје дуж континуума лаб-поља. У чистим лабораторијским експериментима, на примјер, истраживачи могу користити дигиталне системе за боље мерење понашања учесника; један пример оваквог побољшаног мерења је опрема за праћење очију која обезбеђује прецизне и континуиране мере на месту погледа. Дигитално доба такође ствара могућност коришћења онлине лабораторијских експеримената. На пример, истраживачи су брзо усвојили Амазон Мецханицал Турк (МТурк) да регрутују учеснике за онлине експерименте (слика 4.2). МТурк поклапа се са "послодавцима" који имају задатке који морају бити довршени са "радницима" који желе да заврше те задатке за новац. Међутим, за разлику од традиционалних тржишта рада, за обављене задатке обично је потребно само неколико минута да се заврши, а цела интеракција између послодавца и радника је на мрежи. Зато што МТурк опонаша аспекте традиционалних лабораторијских експеримената - плаћајући људе да попуне задатке које не би могли учинити бесплатно - природно је погодан за одређене типове експеримената. У суштини, МТурк је створио инфраструктуру за управљање базом учесника - регрутовање и плаћање људи - а истраживачи су искористили ту инфраструктуру како би се ухватили у увијек доступни базен учесника.

Слика 4.2: Радови објављени коришћењем података Амазон Мецханицал Турк (МТурк). МТурк и друга тржишта рада на тржишту нуде истраживачима погодан начин да регрутују учеснике за експерименте. Прилагођено од Bohannon (2016) .

Дигитални системи стварају још више могућности за експерименте попут поља. Конкретно, омогућавају истраживачима да комбинују строге податке о контроли и процесу који су повезани са лабораторијским експериментима са разноврснијим учесницима и природнијим подешавањима која су повезана са лабораторијским експериментима. Осим тога, дигитални експерименти на терену такође нуде три могућности које су тежиле у аналогним експериментима.

Прво, док већина аналогних лабораторијских и теренских експеримената има стотине учесника, експерименти на дигиталним пољима могу имати милионе учесника. Ова промена у размери је зато што неки дигитални експерименти могу произвести податке при нултој варијабилној цијени. То јест, када су истраживачи створили експерименталну инфраструктуру, повећање броја учесника обично не повећава трошкове. Повећање броја учесника за фактор од 100 или више није само квантитативна промјена; то је квалитативна промена, јер омогућава истраживачима да уче различите ствари од експеримената (нпр. хетерогеност ефеката третмана) и да имају потпуно различите експерименталне дизајне (нпр. експерименте велике групе). Ова тачка је толико важна, вратицу се на крај поглавља када понудим савјете о креирању дигиталних експеримената.

Друго, док већина аналогних лабораторијских и теренских експеримената третира учеснике као неједначене виџете, дигитални експерименти на пољу често користе основне информације о учесницима у фазама пројектовања и анализе истраживања. Ове основне информације, које се називају информације о претходном третману , често су доступне у дигиталним експериментима, јер се раде изнад система за мерење времена (види поглавље 2). На пример, истраживач на Фејсбуку има много више података о претходном третирању људи у свом експерименту на дигиталном пољу од универзитетског истраживача о људима у свом аналогном експерименту на терену. Овај пред-третман омогућава ефикасније експерименталне пројекте - као што је блокирање (Higgins, Sävje, and Sekhon 2016) и циљано запошљавање учесника (Eckles, Kizilcec, and Bakshy 2016) - и више инсигхтфул анализа - као што је процена хетерогености ефеката третмана (Athey and Imbens 2016a) и коваријатско прилагођавање за побољшану прецизност (Bloniarz et al. 2016) .

Треће, док многи аналогни лабораторијски и теренски експерименти пружају третмане и мјеравају исходе у релативно компримованом временском периоду, неки експерименти на дигиталном пољу се дешавају током много дужих рокова. На пример, Рестив и ван де Ријтов експеримент су исход мерили свакодневно 90 дана, а један од експеримената који ћу вам рећи касније у поглављу (Ferraro, Miranda, and Price 2011) пратио је резултате током три године, у основи не трошак. Ове три величине прилика, подаци о претходном третирању и подаци о лонгитудиналном третману и исходу најчешће се појављују када се експерименти покрећу изнад система за мерење времена (погледајте поглавље 2 за више о системима за мерење умереним мерама).

Док експерименти на дигиталним пољима нуде многе могућности, они такође деле неке слабости са аналогним лабораторијским и аналогним експериментима на терену. На примјер, експерименти се не могу користити за проучавање прошлости, а они могу само процијенити ефекте третмана који се могу манипулирати. Такође, иако су експерименти несумњиво корисни за вођење политике, тачно упутство које они могу понудити је донекле ограничено због компликација као што су еколошка зависност, проблеми са усклађеношћу и равнотежни ефекти (Banerjee and Duflo 2009; Deaton 2010) . Дигитални експерименти на терену такође увећавају етичке проблеме створене експериментима на терену - тема коју ћу позвати касније у овом поглављу иу поглављу 6.