4.3 две димензии на експерименти: лабораториски поле и аналогни дигитални

Лабораториски експерименти нудат контрола, полето експерименти понуди реализам и дигитални експерименти поле комбинираат контрола и реализмот на скалата.

Експериментите доаѓаат во многу различни форми и големини. Во минатото, истражувачите сметаат дека е корисно да се организираат експерименти по континуумот помеѓу лабораториските експерименти и теренските експерименти . Меѓутоа, сега истражувачите треба да организираат експерименти по втор континуум помеѓу аналогните експерименти и дигиталните експерименти . Овој дводимензионален дизајн простор ќе ви помогне да ги разберете предностите и слабостите на различните пристапи и да ги нагласите областите со најголема можност (слика 4.1).

Слика 4.1: Шема на дизајнерски простор за експерименти. Во минатото експериментите варирале долж димензијата на полето на лабораторијата. Сега, тие исто така варираат и на аналогно-дигиталната димензија. Овој дводимензионален дизајн простор е илустриран со четири експерименти што ги опишувам во ова поглавје. Според мое мислење, областа на најголема можност е експерименти со дигитално поле.

Една димензија по која може да се организираат експериментите е димензијата на полето на лабораторијата. Многу експерименти во општествените науки се лабораториски експерименти каде студентите на додипломски студии извршуваат чудни задачи во лабораторија за кредит за кредитирање. Овој тип на експеримент доминира во истражување во психологијата, бидејќи им овозможува на истражувачите да создадат високо контролирани поставки за прецизно изолирање и тестирање на специфични теории за социјалното однесување. За некои проблеми, сепак, нешто се чувствува малку чудно за цртање силни заклучоци за човековото однесување од таквите невообичаени луѓе што вршат такви необични задачи во таква необична средина. Овие загрижености доведоа до движење кон теренски експерименти . Теренските експерименти го комбинираат силниот дизајн на рандомизирани контролни експерименти со повеќе репрезентативни групи на учесници кои вршат почести задачи во повеќе природни поставувања.

Иако некои луѓе мислат на лабораториски и теренски експерименти како натпреварувачки методи, најдобро е да се мисли на нив како комплементарни, со различни предности и слабости. На пример, Correll, Benard, and Paik (2007) користеа лабораториски експеримент и експеримент на терен, во обид да ги пронајдат изворите на "мајчинската казна". Во САД, мајките заработуваат помалку пари од жените без деца, дури и кога споредувајќи ги жените со слични вештини кои работат на слични работни места. Постојат многу можни објаснувања за овој модел, од кои едната е дека работодавачите се пристрасни против мајките. (Интересно, токму спротивното се чини дека е точно за татковците: тие имаат тенденција да заработат повеќе од споредливи бездетни мажи). За да се процени можната пристрасност кон мајките, Корел и неговите колеги спроведоа два експерименти: еден во лабораторија и еден во полето.

Прво, во лабораториски експеримент им рекоа на учесниците, кои беа колеџ студенти, дека една компанија спроведува потрага по вработување за лице кое ќе го води својот нов оддел за маркетинг на Источно крајбрежје. На студентите им беше кажано дека компанијата сакаше да им помогне во процесот на вработување, а од нив беше побарано да ги разгледаат резимеата на неколку потенцијални кандидати и да ги оценуваат кандидатите според голем број димензии, како што се нивната интелигенција, топлина и посветеност кон работа. Понатаму, учениците беа запрашани дали ќе препорачаат ангажирање на апликантот и што ќе препорачаат како почетна плата. Меѓутоа, без знаење на учениците, резимеата беа специјално конструирани да бидат слични, освен за едно нешто: некои од нив сигнализираа мајчинство (со вклучување на листата во асоцијација на родител-наставник), а некои не. Корел и неговите колеги открија дека кај учениците им е помала веројатност да препорача вработување на мајките и дека им нудат пониска почетна плата. Понатаму, преку статистичка анализа на рејтингот и на одлуките поврзани со вработување, Корел и неговите колеги открија дека недостатоците на мајките во голема мера се објаснуваат со фактот дека тие се оценети пониски во смисла на компетентност и посветеност. Така, овој лабораториски експеримент му дозволи на Корел и колегите да измерат каузален ефект и да дадат можно објаснување за тој ефект.

Се разбира, може да бидеме скептични во врска со извлекувањето на заклучоците за целиот американски пазар на трудот врз основа на одлуките на неколку стотици студенти, кои најверојатно никогаш немале работа со полно работно време, а камоли да вработи некој. Затоа, Коррел и неговите колеги исто така спроведоа комплементарен теренски експеримент. Тие реагираа на стотици рекламирани работни места со лажни маски за покривање и продолжување. Слично на материјалите прикажани на додипломците, некои продолжуваат сигнализираното мајчинство, а некои не. Корел и неговите колеги открија дека мајките се со помала веројатност да се вратат на интервју отколку еднакво квалификувани деца без жени. Со други зборови, вистинските работодавци што донесуваа последователни одлуки во природното опкружување, се однесуваа како додипломците. Дали од слична одлука донесоа слични одлуки? За жал, не знаеме. Истражувачите не беа во можност да побараат од работодавачите да ги рангираат кандидатите или да ги објаснат своите одлуки.

Овој пар експерименти открива многу за лабораториски и теренски експерименти воопшто. Лабораториските експерименти им нудат на истражувачите речиси целосна контрола на околината во која учесниците донесуваат одлуки. Така, на пример, во лабораторискиот експеримент, Корел и неговите колеги успеаја да обезбедат дека сите резимеа се читаат во тивко поставување; во теренскиот експеримент, некои од резимеата можеби и не биле прочитани. Понатаму, бидејќи учесниците во лабораторијата знаат дека се изучуваат, истражувачите честопати можат да соберат дополнителни податоци кои можат да помогнат да се објасни зошто учесниците ги донесуваат своите одлуки. На пример, Коррел и неговите колеги побараа од учесниците во лабораторискиот експеримент да ги рангираат кандидатите на различни димензии. Овој вид податоци од процесот може да им помогне на истражувачите да ги разберат механизмите што стојат зад разликите во начинот на кој учесниците ги третираат резимеата.

Од друга страна, овие ист карактеристики што ги опишав како предности понекогаш се сметаат за недостатоци. Истражувачите кои претпочитаат теренски експерименти тврдат дека учесниците во лабораториските експерименти може да дејствуваат многу поинаку, бидејќи знаат дека се испитуваат. На пример, во лабораторискиот експеримент, учесниците можеби ја претпочитаа целта на истражувањето и го смениле своето однесување за да не се појави пристрасно. Понатаму, истражувачите кои претпочитаат експерименти на терен би можеле да тврдат дека малите разлики во продолжението можат да се истакнат само во многу чиста, стерилна лабораториска средина, а со тоа лабораторискиот експеримент ќе го прецени ефектот на мајчинството врз одлуките за вистинско вработување. Конечно, многу поборници на теренски експерименти ги критикуваа потпирањата на лабораториските експерименти врз учесниците на ЗЕИРД: главно учениците од западните, образованите, индустриализираните, богатите и демократските земји (Henrich, Heine, and Norenzayan 2010a) . Експериментите на Корел и колегите (2007) илустрираат двата екстреми на лабораторискиот континуум. Во меѓу овие две крајности постојат и разни хибридни дизајни, вклучувајќи пристапи како што се носење на не-студенти во лабораторија или заминување на терен, но сепак учесниците имаат необична задача.

Во прилог на димензијата на полето на лабораторијата која постоела во минатото, дигиталното доба значи дека истражувачите сега имаат втора голема димензија, по која експериментите може да варираат: аналогно-дигитален. Исто како што постојат чисти лабораториски експерименти, чисти теренски експерименти и различни хибриди помеѓу нив, постојат чисти аналогни експерименти, чисти дигитални експерименти и различни хибриди. Тешко е да се понуди формална дефиниција за оваа димензија, но корисна работна дефиниција е дека целосно дигитални експерименти се експерименти кои ја користат дигиталната инфраструктура за регрутирање на учесниците, рандомизирање, доставување третмани и мерење на резултатите. На пример, студијата Restiv и van de Rijt (2012) за barnstars и Википедија претставува целосно дигитален експеримент, бидејќи користеше дигитални системи за сите четири чекори. Исто така, целосно аналогните експерименти не ја користат дигиталната инфраструктура за кој било од овие четири чекори. Многу од класичните експерименти во психологијата се целосно аналогни експерименти. Во меѓу овие две крајности, постојат делумно дигитални експерименти кои користат комбинација на аналогни и дигитални системи.

Кога некои луѓе мислат на дигитални експерименти, тие веднаш размислуваат за онлајн експерименти. Ова е несреќно бидејќи можностите за водење дигитални експерименти не се само онлајн. Истражувачите можат да работат делумно со дигитални експерименти со користење на дигитални уреди во физичкиот свет со цел да обезбедат третмани или да ги мерат резултатите. На пример, истражувачите би можеле да користат паметни телефони за да обезбедат третмани или сензори во изградената средина за да ги измерат исходите. Всушност, како што ќе видиме подоцна во ова поглавје, истражувачите веќе ги користеа домашните мерења за мерење на резултатите во експериментите за потрошувачката на енергија, вклучувајќи 8,5 милиони домаќинства (Allcott 2015) . Со оглед на тоа што дигиталните уреди стануваат се повеќе интегрирани во животот на луѓето и сензорите стануваат интегрирани во изградената средина, овие можности за делумно дигитални експерименти во физичкиот свет драстично ќе се зголемат. Со други зборови, дигиталните експерименти не се само онлајн експерименти.

Дигиталните системи создаваат нови можности за експерименти насекаде низ лабораторискиот континуум. Во чисти лабораториски експерименти, на пример, истражувачите можат да користат дигитални системи за пофини мерења на однесувањето на учесниците; еден пример за овој вид подобрено мерење е опрема за следење на очите која обезбедува прецизни и континуирани мерки на локација на погледот. Дигиталната ера, исто така, создава можност за водење лабораториски експерименти на интернет. На пример, истражувачите брзо го прифатија Amazon Mechanical Turk (MTurk) за да регрутираат учесници за онлајн експерименти (слика 4.2). Метурк се совпаѓа со "работодавачите" кои имаат задачи кои треба да се завршат со "работници" кои сакаат да ги завршат тие задачи за пари. За разлика од традиционалните пазари на труд, сепак, за задачите што се вклучени обично се потребни само неколку минути за да се заврши, а целата интеракција помеѓу работодавачот и работникот е онлајн. Бидејќи MTurk имитира аспекти на традиционалните лабораториски експерименти - плаќајќи луѓе да ги завршат задачите што тие не би ги направиле бесплатно - природно е погодно за одредени видови експерименти. Во суштина, Муррк ја создаде инфраструктурата за управување со базен на учесници - регрутирање и плаќање на луѓе - и истражувачите ја искористија таа инфраструктура за да се приклучат кон секогаш достапен базен на учесници.

Слика 4.2: Документи објавени користејќи податоци од Амазон Механички Турчин (Муркур). Муркур и другите онлајн пазари на труд им нудат на истражувачите пригоден начин да регрутираат учесници за експерименти. Адаптиран од Bohannon (2016) .

Дигиталните системи создаваат уште повеќе можности за експерименти налик на терен. Особено, тие им овозможуваат на истражувачите да ги комбинираат строгите контролни и процесни податоци кои се поврзани со лабораториски експерименти со повеќе различни учесници и повеќе природни поставувања кои се поврзани со лабораториски експерименти. Покрај тоа, дигиталните експерименти на полето исто така нудат три можности кои имаат тенденција да бидат тешки во аналогните експерименти.

Прво, додека повеќето аналогни лабораториски и теренски експерименти имаат стотици учесници, експериментите со дигитални експерименти можат да содржат милиони учесници. Оваа промена во обем е поради тоа што некои дигитални експерименти можат да произведат податоци со нула варијабилни трошоци. Тоа е, откако истражувачите создале експериментална инфраструктура, зголемувањето на бројот на учесници обично не ја зголемува цената. Зголемувањето на бројот на учесници со фактор од 100 или повеќе не е само квантитативна промена; тоа е квалитативна промена, бидејќи им овозможува на истражувачите да научат различни работи од експериментите (на пр., хетерогеност на ефектите од третманот) и да водат сосема различни експериментални дизајни (на пример, експерименти со големи групи). Оваа точка е толку важна, јас ќе се вратам кон него кон крајот на поглавјето, кога ќе понудам совети за создавање на дигитални експерименти.

Второ, додека повеќето аналогни лабораториски и теренски експерименти ги третираат учесниците како неразлични графички контроли, дигиталните експерименти на полето често ги користат позадинските информации за учесниците во фазите на дизајнот и анализата на истражувањето. Оваа информација за позадината, која се нарекува информација за предтретман , често е достапна во дигитални експерименти, бидејќи тие се извршуваат на системите за мерење на постојано мерење (види го поглавјето 2). На пример, истражувач на Фејсбук има многу повеќе информации за предтретман за луѓето во нејзиниот експеримент за дигитално поле отколку истражувачот на универзитетот за луѓето во нејзиниот аналоген експеримент. Овој пред-третман овозможува поефикасни експериментални дизајни-како што се блокирање (Higgins, Sävje, and Sekhon 2016) и насочени регрутирање на учесниците (Eckles, Kizilcec, and Bakshy 2016) - (Eckles, Kizilcec, and Bakshy 2016) анализа - како што се проценка на хетерогеноста на ефектите од третманот (Athey and Imbens 2016a) и ковариантно прилагодување за подобрена прецизност (Bloniarz et al. 2016) .

Трето, додека многу аналогни лабораториски и теренски експерименти обезбедуваат третмани и ги мерат исходите во релативно компримиран временски период, некои експерименти со дигитално поле се случуваат во подолги временски рокови. На пример, експериментот Restivo и van de Rijt секој ден го мери резултатот дневно, а еден од експериментите што ќе ви ги кажам подоцна во поглавјето (Ferraro, Miranda, and Price 2011) следеле резултатите во текот на три години, во основа нема цена. Овие три можности за големината на големината, информациите за предтретман и податоците за надолжниот третман и исходот најчесто се појавуваат кога експериментите се вршат над системите за мерење на постојано мерење (видете го поглавјето 2 за повеќе за системите за мерење на постојано мерење).

Додека експериментите со дигитално поле нудат многу можности, тие, исто така, споделуваат некои слабости со двете аналогни лаборатории и аналогни експерименти. На пример, експериментите не можат да се користат за проучување на минатото, и тие само може да ги проценат ефектите од третманите кои можат да се манипулираат. Исто така, иако експериментите се несомнено корисни за насочување на политиката, точните насоки што можат да ги понудат е малку ограничен поради компликации како што се еколошка зависност, проблеми со усогласеноста и ефекти на рамнотежа (Banerjee and Duflo 2009; Deaton 2010) . Експериментите за дигитално поле исто така ја зголемуваат етичката загриженост создадена од теренски експерименти - тема што ќе се осврнам подоцна во ова поглавје и во поглавје 6.