4.3 Две измерения на експерименти: лу-полеви и аналогово-цифрови

Лабораторни експерименти предлагат контрол, полеви експерименти предлагат реализъм, и дигитални експерименти полеви съчетават контрол и реализъм в мащаб.

Експериментите идват в много различни форми и размери. В миналото изследователите са установили, че е полезно да се организират експерименти по продължение на лабораторните експерименти и полевите експерименти . Сега, обаче, изследователите трябва също така да организират експерименти по втори континуум между аналогови експерименти и цифрови експерименти . Това двуизмерно пространство за проектиране ще ви помогне да разберете силните и слабите страни на различните подходи и да подчертаете областите с най-големи възможности (фигура 4.1).

Фигура 4.1: Схема на проектното пространство за експерименти. В миналото опитите варираха по измерението на лабораторното поле. Сега, те също се различават по аналого-цифрово измерение. Това двуизмерно пространство на дизайна е илюстрирано с четири експеримента, които описвам в тази глава. По мое мнение районът с най-голяма възможност е експерименти с цифрови полета.

Едно измерение, по което могат да бъдат организирани експериментите, е измерението на лабораторното поле. Много експерименти в социалните науки са лабораторни експерименти, при които студентите изпълняват странни задачи в лаборатория за курс на обучение. Този тип експеримент доминира изследванията в психологията, защото позволява на изследователите да създават високо контролирани настройки, за да изолират и изпробват конкретни теории за социалното поведение. За някои проблеми обаче нещо се чувства малко странно, за да се направят сериозни изводи за човешкото поведение от такива необичайни хора, изпълняващи такива необичайни задачи в такава необичайна обстановка. Тези опасения доведоха до движение към полеви експерименти . Теренните експерименти съчетават силния дизайн на рандомизираните контролни експерименти с по-представителни групи участници, изпълняващи по-често срещани задачи в по-естествени условия.

Въпреки че някои хора мислят, че лабораторните и полеви експерименти са конкурентни методи, най-добре е те да се възприемат като допълващи, с различни силни и слаби страни. Например, Correll, Benard, and Paik (2007) използват лабораторни експерименти и полеви експерименти в опит да намерят източниците на "майчинство". В Съединените щати майките печелят по-малко пари от бездетничките, дори когато сравнявайки жените със сходни умения, работещи в подобни работни места. Има много възможни обяснения за този модел, един от които е, че работодателите са пристрастни към майките. (Интересното е, че обратното изглежда е вярно за бащите: те са склонни да печелят повече от сравнимите бездетни мъже.) За да се прецени възможната пристрастност към майките, Корел и колегите си направиха два експеримента: един в лабораторията и един в областта.

Първо, в лабораторния експеримент те разказаха на участниците, които бяха колеж студенти, че една компания е провеждане на търсене на работа за лице, за да ръководи своя нов маркетинг отдел на Източния бряг. На студентите беше казано, че компанията иска тяхната помощ в процеса на наемане и те са помолени да преразгледат автобиографиите на няколко потенциални кандидати и да оценят кандидатите по редица измерения, като тяхната интелигентност, топлина и ангажираност към работа. Освен това учениците бяха помолени да препоръчат наемането на кандидата и това, което биха препоръчали като начална заплата. Неизвестно на студентите, обаче, автобиографиите са специално конструирани, за да бъдат сходни, с изключение на едно: някои от тях сигнализираха за майчинството (като включиха участие в асоциация родител-учител), а някои не. Корел и колеги открили, че е по-малко вероятно студентите да препоръчат наемането на майките и че те им предлагат по-ниска начална заплата. Освен това, чрез статистически анализ както на рейтингите, така и на свързаните с наемането решения, Correll и колеги открили, че недостатъците на майките до голяма степен се обясняват с факта, че те са оценени с по-ниска степен на компетентност и ангажираност. По този начин, този лабораторен експеримент позволи на Correll и колегите да преценят причинно-следствения ефект и да дадат възможност за това обяснение.

Разбира се, може да има скептицизъм да се направят изводи за целия трудов пазар в САЩ въз основа на решенията на няколкостотин студенти, които вероятно никога не са имали работа на пълно работно време, да не говорим да наемат някой. Следователно, Correll и колегите също провеждат допълнителен полеви експеримент. Те отговориха на стотици рекламирани работни места с фалшиви мотивационни писма и автобиографии. Подобно на материалите, показани на студентите, някои автобиографии сигнализират за майчинство, а някои не. Корел и колеги открили, че майките са по-малко склонни да бъдат призовани за интервюта, отколкото равностойни бездетни жени. С други думи, реалните работодатели, вземащи последващи решения в естествена среда, се държат много като студентите. Дали са взели подобни решения по същата причина? За съжаление, ние не знаем. Изследователите не са могли да поискат от работодателите да оценят кандидатите или да обяснят решенията си.

Тези двойки експерименти разкриват много за лабораторните и полеви експерименти като цяло. Лабораторните експерименти предлагат на изследователите почти пълен контрол върху околната среда, в който участниците вземат решения. Така например, в лабораторния експеримент, Correll и колегите му успяха да се уверят, че всички автобиографии са прочетени в спокойна обстановка; в полевия експеримент някои от резюметата може и да не са били прочетени. Освен това, тъй като участниците в лабораторните среди знаят, че се изучават, изследователите често могат да събират допълнителни данни, които могат да помогнат да обяснят защо участниците взимат своите решения. Например, Корел и колеги поискаха от участниците в лабораторния експеримент да оценят кандидатите по различни измерения. Този вид данни от процеса може да помогне на изследователите да разберат механизмите, които стоят зад различията в начина, по който участниците разглеждат резюметата.

От друга страна, тези същите характеристики, каквито току-що описах като предимства, също понякога се считат за недостатъци. Изследователи, които предпочитат полеви експерименти, твърдят, че участниците в лабораторните експерименти могат да действат много различно, защото знаят, че се учат. Например, в лабораторния експеримент, участниците може би са предположили целта на изследването и са променили поведението си, така че да не изглеждат предубедени. Освен това изследователи, които предпочитат полеви експерименти, могат да твърдят, че малките разлики в резюметата могат да се откроят само в много чиста, стерилна лабораторна среда и по този начин лабораторният експеримент ще надценява ефекта на майчинството върху реалните решения за наемане. Накрая, много привърженици на полевите експерименти критикуват лабораторните експерименти, разчитайки на участниците в WEIRD: главно студенти от западни, образовани, индустриализирани, богати и демократични страни (Henrich, Heine, and Norenzayan 2010a) . Експериментите от Correll и колеги (2007) илюстрират двете крайности на лабораторния континуум. Между тези две крайности има и разнообразие от хибридни дизайни, включително подходи като привеждане на не-студенти в лаборатория или навлизане в полето, но все пак участниците изпълняват необичайна задача.

В допълнение към измерението на лабораторното поле, което е съществувало в миналото, цифровата ера означава, че изследователите вече имат второ голямо измерение, по което експериментите могат да варират: аналогово-цифров. Точно както има чисти лабораторни експерименти, чисти полеви експерименти и разнообразие от хибриди между тях, има чисти аналогови експерименти, чисти цифрови експерименти и разнообразие от хибриди. Трудно е да се предложи официално определение на това измерение, но полезна работна дефиниция е, че напълно дигиталните експерименти са експерименти, които използват цифровата инфраструктура за набиране на участници, рандомизиране, предоставяне на лечение и измерване на резултатите. Например изследването на резино и ван де Рийд (2012) за barnstars и Wikipedia е напълно цифров експеримент, защото използва цифрови системи за всичките четири стъпки. По същия начин напълно аналоговите експерименти не използват цифровата инфраструктура за нито една от тези четири стъпки. Много от класическите експерименти в психологията са напълно аналогични експерименти. Между тези две крайности има частични цифрови експерименти, които използват комбинация от аналогови и цифрови системи.

Когато някои хора мислят за цифрови експерименти, те незабавно мислят за онлайн експерименти. Това е жалко, защото възможностите за провеждане на цифрови експерименти не са само онлайн. Изследователите могат да провеждат частични цифрови експерименти, като използват дигитални устройства във физическия свят, за да осигурят лечение или да измерват резултатите. Например, изследователите биха могли да използват смартфони, за да осигурят лечение или сензори в изградената среда за измерване на резултатите. Всъщност, както ще видим по-нататък в тази глава, изследователите вече са използвали уреди за измерване на домашното електричество, за да измерват резултатите от експериментите за потребление на енергия, включващи 8,5 милиона домакинства (Allcott 2015) . Тъй като цифровите устройства стават все по-интегрирани в живота на хората и сензорите се интегрират в изградената среда, тези възможности за частично дигитални експерименти във физическия свят ще се увеличат драстично. С други думи, цифровите експерименти не са само онлайн експерименти.

Цифровите системи създават нови възможности за експерименти навсякъде по продължение на лабораторното поле. В чисто лабораторни експерименти например изследователите могат да използват цифрови системи за по-добро измерване на поведението на участниците; един пример за този вид подобрено измерване е оборудването за проследяване на очите, което осигурява точни и непрекъснати измервания на местоположението на погледа. Дигиталната ера създава и възможност за онлайн лабораторни експерименти. Например, изследователите бързо са приели Amazon Mechanical Turk (MTurk), за да набират участници за онлайн експерименти (фигура 4.2). MTurk съвпада с "работодателите", които имат задачи, които трябва да бъдат завършени с "работници", които искат да изпълнят тези задачи за пари. За разлика от традиционните пазари на труда, обаче, задачите обикновено изискват само няколко минути за завършване и цялото взаимодействие между работодател и работник е онлайн. Тъй като Муррк имитира аспекти на традиционните лабораторни експерименти, които плащат на хората да изпълняват задачи, които не биха направили свободно, това естествено е подходящо за определени видове експерименти. По същество MTurk създаде инфраструктурата за управление на група от участници - набиране и заплащане на хора - и изследователите се възползваха от тази инфраструктура, за да се включат в винаги наличен кръг от участници.

Фигура 4.2: Доклади, публикувани с данни от Amazon Mechanical Turk (MTurk). MTurk и други онлайн пазари на труда предлагат на изследователите удобен начин за набиране на участници за експерименти. Адаптирано от Bohannon (2016) .

Цифровите системи създават още повече възможности за полеви експерименти. По-специално те дават възможност на изследователите да комбинират строгите контролни и процесни данни, свързани с лабораторните експерименти с по-разнообразните участници и по-естествените настройки, свързани с лабораторните експерименти. Освен това експериментите с дигитално поле също предлагат три възможности, които са склонни да се затрудняват при аналоговите експерименти.

Първо, докато повечето аналогови лабораторни и полеви експерименти имат стотици участници, експериментите с цифрови полета могат да имат милиони участници. Тази промяна в мащаба се дължи на факта, че някои цифрови експерименти могат да генерират данни при нулева променлива цена. Това означава, че след като изследователите са създали експериментална инфраструктура, увеличаването на броя на участниците обикновено не увеличава разходите. Увеличаването на броя на участниците с коефициент 100 или повече не е просто количествена промяна; това е качествена промяна, защото позволява на изследователите да научат различни неща от експериментите (например, хетерогенността на ефектите от лечението) и да изпълняват съвсем различни експериментални дизайни (напр. експерименти с големи групи). Тази точка е толкова важна, че ще се върна към нея в края на главата, когато предлагам съвети за създаване на цифрови експерименти.

На второ място, докато повечето аналогови лабораторни и полеви експерименти третират участниците като неразличими джаджи, дигиталните полеви експерименти често използват основната информация за участниците в етапите на проектиране и анализ на изследванията. Тази основна информация, която се нарича информация за предварителна обработка , често е налице при цифрови експерименти, тъй като те се управляват на върха на системите за измерване винаги (виж глава 2). Например, изследовател във Facebook има много повече информация преди лечението за хората в нейния дигитален полеви експеримент, отколкото има в университетския изследовател за хората в нейния аналогов експеримент. Тази предварителна обработка дава възможност за по-ефективни експериментални проекти - като блокиране (Higgins, Sävje, and Sekhon 2016) и целенасочено набиране на участници (Eckles, Kizilcec, and Bakshy 2016) и по-задълбочен анализ като оценка на хетерогенността на ефектите от лечението (Athey and Imbens 2016a) и ковариация на корекция за подобрена точност (Bloniarz et al. 2016) .

Трето, докато много аналогови лабораторни и полеви експерименти осигуряват лечение и измерват резултатите в относително компресиран период от време, някои експерименти с дигитално поле се случват в много по-дълги срокове. Например експериментите на Restivo и van de Rijt показаха, че резултатът се измерва ежедневно в продължение на 90 дни и един от експериментите, които ще ви разкажа по-късно в главата (Ferraro, Miranda, and Price 2011) себестойност. Тези три възможности за размера, информацията за предварителната обработка и данните за продължителността на лечението и резултатите се появяват най-често при провеждане на експерименти над винаги измерваните системи (вижте глава 2 за повече информация за системите за измерване винаги).

Докато експериментите с цифрови полета предлагат много възможности, те също споделят някои слабости както с аналогови лаборатории, така и с аналогови полеви експерименти. Например експериментите не могат да бъдат използвани за изучаване на миналото и те могат само да оценят ефектите от лечения, които могат да бъдат манипулирани. Също така, въпреки че експериментите несъмнено са полезни за насочване на политиката, точните насоки, които те могат да предложат, са малко ограничени поради усложнения като зависимост от околната среда, проблеми със съответствието и ефекти на равновесие (Banerjee and Duflo 2009; Deaton 2010) . Експериментите с дигитално поле също така увеличават етичните опасения, създадени от полеви експерименти - тема, която ще разгледам по-късно в тази глава и в глава 6.