4.3 Два измерения экспериментов: лабораторного поля и аналого-цифровые

Лабораторные эксперименты предлагают контроль, полевые эксперименты предлагают реализм, и эксперименты цифровые поля сочетают контроль и реализм в масштабе.

Эксперименты бывают различных форм и размеров. Но, несмотря на эти различия, исследователи обнаружили , что полезно организовать эксперименты вдоль континуума между лабораторных экспериментов и полевых экспериментов. Теперь, однако, исследователи должны также организовать эксперименты вдоль континуума между аналоговыми и цифровыми экспериментами экспериментов. Это двухмерное пространство проектирования поможет вам понять сильные и слабые стороны различных подходов и предложить области наибольшие возможности (Рисунок 4.1).

Рисунок 4.1: Схема дизайна пространства для экспериментов. В прошлом эксперименты варьировали по измерению лабораторного поля. Теперь, они также изменяются на аналого-цифровом измерении. На мой взгляд, область наибольшей возможностью является цифровые полевые эксперименты.

В прошлом, главным образом, что исследователи организовали экспериментов по измерению лабораторного поля. Большинство экспериментов в социальных науках являются лабораторные эксперименты , в которых студенты выполняют странные задачи в лаборатории для курса кредита. Этот тип эксперимента доминирует исследования в области психологии, поскольку она позволяет исследователям создавать очень специфические процедуры, разработанные для проверки весьма специфические теории о социальном поведении. Для некоторых проблем, однако, что-то чувствует себя немного странно, о рисовании сильные выводы о поведении человека от таких необычных людей, выполняющих такие необычные задачи в такой необычной обстановке. Эти проблемы привели к движению в направлении полевых экспериментов. Полевые эксперименты сочетают в себе прочную конструкцию рандомизированных контрольных экспериментов с более репрезентативных групп участников, выполняя более общих задач, в более естественных условиях.

Хотя некоторые люди думают, лабораторных и полевых экспериментов как конкурирующие методы, то лучше думать о них как дополнительные методы с различными сильными и слабыми сторонами. Например, Correll, Benard, and Paik (2007) используется как лабораторный эксперимент и полевой эксперимент в попытке найти истоки "Материнство казни" . В Соединенных Штатах, матери зарабатывают меньше денег , чем бездетные женщины, даже если сравнивающие женщины с подобными навыками, работающих в аналогичных работах. Есть много возможных объяснений этой модели, а также является то, что работодатели настроены против матерей. (Интересно, что напротив, кажется, верно для отцов: они, как правило, зарабатывают больше, чем сопоставимые бездетных мужчин). Для того, чтобы оценить возможные отклонения от матерей, Коррелл и его коллеги провел два эксперимента: один в лаборатории и один в поле.

Во-первых, в лаборатории эксперимента Коррелл и его коллеги рассказали участникам, которые были студентов колледжа, что в Калифорнии старт-ап связи компания была создана проведение поиска занятости для человека, чтобы привести его новый отдел маркетинга Восточного побережья. Студенты сказали, что компания хотела их помощь в процессе приема на работу и им было предложено рассмотреть резюме нескольких потенциальных кандидатов и голосовать за кандидатов по ряду направлений, таких как их интеллект, тепло, и приверженность к работе. Кроме того, студенты спросили, были ли они рекомендовали бы нанимать заявителя и что они будут рекомендовать в качестве исходного оклада. Незаметно для студентов, однако, резюме были специально построены, чтобы быть похожими за исключением одной вещи: некоторые из резюме сигнализировал материнство (путем перечисления участие в родительском ассоциации), а некоторые из них не сделал. Коррелл обнаружили, что студенты были менее склонны рекомендовать наем матерей и предложил им более низкую начальную зарплату. Кроме того, с помощью статистического анализа обоих рейтингов и решений, связанных с наймом, Коррелл обнаружили, что недостатки матерей были в значительной степени объясняется тем, что матери были отнесены к категории ниже с точки зрения компетентности и преданности делу. Другими словами, Коррелл утверждает , что эти черты являются механизмом , посредством которого матери находятся в неблагоприятном положении. Таким образом, эта лаборатория эксперимент позволил Correll и коллегам, чтобы измерить причинно-следственной связи и обеспечить возможное объяснение этого эффекта.

Конечно, можно было бы относиться скептически делать выводы о целом на рынке труда США на основе решений нескольких сотен студентов, которые, вероятно, никогда имели полный рабочий день, не говоря уже нанятых людей. Поэтому Коррелл и его коллеги также провели дополнительный полевой эксперимент. Исследователи ответили на сотни рекламируемых вакансий, отправив в поддельных сопроводительных писем и резюме. Подобно материалам, представленным к магистрантов, некоторые резюме сигнализировал материнство и некоторые из них не сделал. Коррелл и его коллеги обнаружили, что матери было меньше шансов получить перезвонил для интервью, чем в равной степени квалифицированных бездетных женщин. Другими словами, реальные работодатели делают вытекающие решения в естественной обстановке вели себя так же, как магистрантов. Возможно, они делают подобные решения по той же причине? К сожалению, мы не знаем. Исследователи не смогли попросить работодателей оценить кандидатов или объяснять свои решения.

Эта пара экспериментов показывает много о лабораторных и полевых экспериментов в целом. Лабораторные эксперименты предлагают исследователей вблизи тотального контроля окружающей среды, в которой участники принимают решения. Так, например, в лабораторных условиях эксперимента, Коррелл удалось обеспечить, чтобы все резюме были прочитаны в спокойной обстановке; в эксперименте поля, некоторые из резюме, возможно, не были даже читать. Кроме того, поскольку участники лабораторных знают, что они изучаются, исследователи часто в состоянии собрать дополнительные данные, которые могут помочь им понять, почему участники делают свои решения. Например, Коррелл попросили участников в лаборатории эксперимента, чтобы оценить кандидатов на различные размеры. Такого рода данные процесса могут помочь ученым понять механизмы , стоящие за различия в том , как относиться к участникам резюме.

С другой стороны, эти те же самые характеристики, которые я только что описал, как преимущества также иногда рассматриваются недостатки. Исследователи, предпочитающие полевые эксперименты доказывают, что участники лабораторных экспериментов могут действовать совсем по-другому, когда они пристально наблюдают. Например, в лаборатории участники эксперимента могли догадаться цели исследования и изменили свое поведение так, чтобы не казаться предвзятым. Кроме того, исследователи, предпочитающие полевые эксперименты могли бы утверждать, что небольшие различия на резюме может только выделиться в очень чистой, стерильной лабораторной среде, и, таким образом, лаборатория эксперимент будет переоценивать влияние материнства на реальных наймом решений. И, наконец, многие сторонники полевых экспериментов критикуют лабораторных экспериментов зависимость от Weird участников: в основном студенты из Западной, образованны, Industrialized, богатый и демократических стран (Henrich, Heine, and Norenzayan 2010) . Эксперименты по Correll и его коллеги (2007) иллюстрируют две крайности на лабораторном поля континуума. В промежутке между этими двумя крайностями существует множество гибридных конструкций, включая такие подходы, как в результате чего неучащихся в лабораторию или идти в поле, но все еще имеющие участники выполняют необычную задачу.

В дополнение к измерению лабораторного поля, который существовал в прошлом, цифровой век означает, что исследователи теперь имеют второй основной размер, вдоль которого эксперименты могут варьироваться: аналого-цифровые. Так же, как есть чистые лабораторные эксперименты, эксперименты чистые поля и множество гибридов между ними, есть чисто аналоговые эксперименты, чистые цифровые эксперименты и разнообразие гибридов. Это сложно предложить формальное определение этого размера, но полезное рабочее определение является то , что полностью цифровые эксперименты эксперименты , которые используют цифровую инфраструктуру для набора участников, рандомизации, доставить лечения и оценки результатов. Например, Restivo и ван де Rijt - х (2012) исследование barnstars и Wikipedia была полностью цифровой эксперимент , потому что он использовал цифровые системы для всех этих четырех шагов. Точно так же в полной мере аналоговые эксперименты эксперименты , которые не используют цифровой инфраструктуры для любого из этих четырех шагов. Многие из классических экспериментов в психологии аналоговые эксперименты. В промежутке между этими двумя крайностями существуют частично цифровые эксперименты , которые используют комбинацию аналоговых и цифровых систем для четырех шагов.

Критически, возможности для запуска цифровых экспериментов не только в Интернете. Исследователи могут работать частично цифровые эксперименты с использованием цифровых устройств в физическом мире для того, чтобы доставить лечения или оценки результатов. Например, исследователи могут использовать смартфоны для обеспечения лечения или датчиков в искусственной среде для оценки результатов. На самом деле, как мы увидим далее в этой главе, исследователи уже использовали метров домашнего питания для измерения результатов в экспериментах по поводу социальных норм и потребления энергии с участием 8,5 млн домохозяйств (Allcott 2015) . Поскольку цифровые устройства становятся все более и более интегрированы в жизнь людей и датчики интегрироваться в искусственной среде, эти возможности для запуска частично цифровые эксперименты в физическом мире резко возрастет. Другими словами, цифровые эксперименты не просто онлайн экспериментов.

Цифровые системы создают новые возможности для экспериментов везде вдоль лабораторного поля континуума. В чистых лабораторных экспериментах, например, исследователи могут использовать цифровые системы для измерения более тонкого поведения участников; Одним из примеров этого типа улучшения измерения является глаз отслеживания оборудования, которое обеспечивает точные и непрерывные меры взора расположения. Цифровой век также создает возможность для запуска лаборатории подобные эксперименты в Интернете. Например, исследователи быстро приняты Amazon Mechanical Turk (MTurk) набрать участников для онлайн-экспериментов (Рисунок 4.2). MTurk соответствует "работодателей", которые имеют задачи, которые должны быть завершены с "рабочими", которые хотят, чтобы завершить эти задачи за деньги. В отличие от традиционных рынков труда, однако, задачи, связанные, как правило, требуется только несколько минут, чтобы закончить и все взаимодействие между работодателем и работником является виртуальным. Поскольку MTurk подражает аспекты традиционных лабораторных экспериментов высокооплачиваемую людей для выполнения задач, которые они не могли бы сделать для свободного она естественным образом подходит для определенных типов экспериментов. По существу, MTurk создала инфраструктуру для управления пулом участников-рекрутинга и выплаты на людей и исследователи воспользовались этой инфраструктуры задействовать в всегда доступный пул участников.

Рисунок 4.2: Статьи , опубликованные с использованием данных от Amazon Механический турок (MTurk) (Bohannon 2016) . MTurk и других интернет-рынков труда предлагают исследователям удобный способ отбора участников для экспериментов.

Цифровые эксперименты создают еще больше возможностей для полевых подобных экспериментов. Эксперименты Цифровые поля могут предложить жесткие данные управления и процессов, чтобы понять возможные механизмы (например, лабораторных экспериментов) и более разнообразных участников делает реальные решения в природной среде (например, полевых экспериментов). В дополнение к этому сочетанию хороших характеристик более ранних экспериментов, эксперименты цифровых области также предлагают три возможности, которые было трудно в аналоговых лабораторных и полевых экспериментов.

Во-первых, в то время как большинство аналоговых лабораторных и полевых экспериментов сотни участников, эксперименты цифровые поля могут иметь миллионы участников. Это изменение в масштабе, потому что некоторые цифровые эксперименты могут получить данные по нулевой переменной стоимости. То есть, как только исследователи создали экспериментальную инфраструктуру, увеличение количества участников, как правило, не приводит к увеличению стоимости. Увеличение количества участников на коэффициент 100 или более это не просто количественное изменение, это качественное изменение, потому что она позволяет исследователям изучать различные вещи из экспериментов (например, гетерогенность эффектов лечения) и запустить совершенно различные экспериментальные образцы ( например, крупные эксперименты в группах). Этот момент настолько важен, я вернусь к нему в конце главы, когда я дать совет о создании цифровых экспериментов.

Во-вторых, в то время как большинство аналоговых лабораторных и полевых экспериментах с ними обращаются, как неразличимые виджеты, эксперименты цифровые поля часто используют справочную информацию об участниках разработки и анализа этапов исследования. Эта справочная информация, которая называется информация для предварительной обработки, часто доступны в цифровых экспериментов , потому что они имеют место в полностью измеряемых средах. Например, исследователь в Facebook имеет гораздо больше информации для предварительной обработки, чем исследователь проектирует стандартный лабораторный эксперимент с магистрантами. Эта информация предварительная обработка позволяет исследователям выйти за рамки лечения участников, неотличимые виджетов. Более конкретно, информация предварительная обработка позволяет осуществлять более эффективные экспериментальные проекты, такие как блокирование (Higgins, Sävje, and Sekhon 2016) и целевой набор участников (Eckles, Kizilcec, and Bakshy 2016) -И многое другое глубокий анализ, такие как оценка неоднородности эффектов лечения (Athey and Imbens 2016a) и ковариативных регулировки для повышения точности (Bloniarz et al. 2016) и (Bloniarz et al. 2016) .

В-третьих, в то время как многие лаборатории аналоговых и полевых экспериментов обеспечивают процедуры и результаты измерить в относительно сжатом количество времени, некоторые эксперименты цифровые поля включают методы лечения, которые могут быть доставлены в течение долгого времени и эффекты могут быть измерены с течением времени. Например, эксперимент Restivo ван де Rijt имеет результат , измеренный ежедневно в течение 90 дней, и один из экспериментов , которые я вам расскажу позже в этой главе (Ferraro, Miranda, and Price 2011) отслеживает результаты в течение 3 -х лет в основном нет Стоимость. Эти три возможности размера, информация о предварительной обработки, а также продольное лечение и исходы данные-являются наиболее распространенными, когда эксперименты выполняются на вершине всегда на системах измерений (см главу 2 для получения более подробной всегда на измерительных системах).

В то время как эксперименты цифровые поля предлагают много возможностей, они также имеют некоторые недостатки как с аналоговой лаборатории и полевых экспериментов. Например, эксперименты не могут быть использованы для изучения прошлого, и они могут оценить только эффекты лечения, которые можно манипулировать. Кроме того , хотя эксперименты, несомненно , полезны для разработки политики, точное наведение они могут предложить несколько ограничена из - за осложнений , таких как экологическая зависимость, проблемы соблюдения и равновесных эффектов (Banerjee and Duflo 2009; Deaton 2010) . И, наконец, эксперименты цифровых полей возвеличивать этических проблем, созданных полевых экспериментов. Сторонники полевых экспериментов труба их способность ненавязчиво и случайным образом вмешиваться в последующие решения, принятые миллионами людей. Эти особенности предлагают определенные научные преимущества, но они также могут сделать полевые эксперименты с этической точки зрения комплекс (думаю о нем, как исследователи лечения таких людей, как "лабораторных крыс" в массовом масштабе). Кроме того, в дополнение к возможным вредом для участников, эксперименты цифровые поля, из-за их масштаба, могут также вызывают озабоченность по поводу нарушения работы социальных систем (например, беспокойство по поводу нарушения системы вознаграждения в Википедии, если Restivo и ван дер Rijt дал слишком много barnstars) ,